KR102594976B1 - 증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법 - Google Patents

증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법 Download PDF

Info

Publication number
KR102594976B1
KR102594976B1 KR1020210107037A KR20210107037A KR102594976B1 KR 102594976 B1 KR102594976 B1 KR 102594976B1 KR 1020210107037 A KR1020210107037 A KR 1020210107037A KR 20210107037 A KR20210107037 A KR 20210107037A KR 102594976 B1 KR102594976 B1 KR 102594976B1
Authority
KR
South Korea
Prior art keywords
video content
image
information
real environment
user terminal
Prior art date
Application number
KR1020210107037A
Other languages
English (en)
Other versions
KR20230025051A (ko
Inventor
백진욱
Original Assignee
백진욱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 백진욱 filed Critical 백진욱
Priority to KR1020210107037A priority Critical patent/KR102594976B1/ko
Priority to US17/884,373 priority patent/US20230051112A1/en
Publication of KR20230025051A publication Critical patent/KR20230025051A/ko
Application granted granted Critical
Publication of KR102594976B1 publication Critical patent/KR102594976B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 형태에 따르면, 통신 인터페이스; 및 (a) 인터넷을 통하여 복수의 동영상 컨텐츠를 수집하는 처리와, (b) 상기 복수의 동영상 컨텐츠 각각에 대해서 특징 정보를 추출하고 메타데이터를 추출하고, 미리 지정된 해싱 함수를 이용하여 상기 특징 정보에 대응하는 해시(hash)값을 생성하는 처리와, (c) 상기 복수의 동영상 컨텐츠 각각의 상기 해시값 및 상기 메타데이터를 적어도 포함하도록 데이터베이스를 관리하는 처리와, (d) 사용자 단말기로부터 실제 환경의 객체에 대응하는 객체 정보를 상기 통신 인터페이스를 이용하여 수신하는 처리와, (e) 상기 객체 정보를 기초로 상기 데이터베이스를 검색하여, 상기 복수의 동영상 컨텐츠 중에서 상기 객체 정보에 대응되는 동영상 컨텐츠를 선택하는 처리와, (f) 상기 선택된 동영상 컨텐츠의 상기 메타데이터를 상기 사용자 단말기로 상기 통신 인터페이스를 이용하여 전송하는 처리를 수행하는 연산 처리부를 포함하고, 상기 복수의 동영상 컨텐츠 각각의 상기 특징 정보는, 키 프레임 또는 대표 이미지(thumbnail) 내의 객체의 이미지를, 강체(rigid) 변환, 유사(similarity) 변환, 선형(linear) 변환, 아핀(affine) 변환, 투영(projection) 변환, 조명에 기초한 변환 및 잡음에 기초한 변환 중 적어도 하나를 포함하는 미리 지정된 변환 방식을 이용하여 변환한 이미지를 포함하는 것인, 증강 현실을 위한 동영상 컨텐츠 선택 장치가 제공된다.

Description

증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법{APPARATUS OF SELECTING VIDEO CONTENT, USER TERMINAL AND METHOD OF PROVIDING VIDEO CONTENT FOR AUGMENTED REALITY}
본 개시(開示)는 증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법에 관한 것이다.
증강 현실(augmented reality, AR)은 사용자가 눈으로 보는 실제 환경의 객체에 가상 객체를 합성하여 보여주는 기술이다. 증강 현실에 따르면, 예컨대 실제 환경에 가상 객체를 합성하여 하나의 영상으로 사용자에게 표시할 수 있다. 가상 객체는 예컨대 실제 환경(예컨대, 실제 환경의 객체)과 관련된 정보를 포함한다. 가상 환경만을 사용자에게 제공하는 가상 현실(virtual reality, VR)과 비교할 때, 증강 현실에 따르면, 사용자에게 보다 나은 현실감을 줄 수 있다.
증강 현실을 제공하기 위해서, 소위 "스마트 폰"이나 "스마트 글래스"와 같은 사용자 단말기가 사용될 수 있다.
본원에서 "스마트 폰"은 예컨대 프로세서와 같은 컴퓨팅 기능을 구비한 이동 통신 단말기를 지칭한다. 스마트 폰은 예컨대 카메라와 같은 영상 획득 기능과 예컨대 디스플레이와 같은 영상 표시 기능을 구비하며, 컴퓨팅 기능을 이용하여 증강 현실 애플리케이션을 실행하여 사용자에게 증강 현실을 제공할 수 있다. 스마트 폰은 예컨대 GPS와 같은 다양한 센서에 의해서 위치 정보와 같은 다양한 정보를 획득하는 기능을 추가적으로 구비할 수 있다.
본원에서 "스마트 글래스"는 예컨대 프로세서와 같은 컴퓨팅 기능과 예컨대 무선 인터넷과 같은 무선 통신 기능을 구비하며 사용자가 착용할 수 있는 컴퓨팅 장치를 지칭한다. 스마트 글래스는 예컨대 안경 형태로 구성되거나 HMD(head mounted display 또는 head mount device) 형태로 구성될 수도 있다. 스마트 폰과 마찬가지로, 스마트 글래스는 영상 획득 기능과 영상 표시 기능을 구비하며, 컴퓨팅 기능을 이용하여 증강 현실 애플리케이션을 실행하여 사용자에게 증강 현실을 제공할 수 있고, 예컨대 GPS와 같은 다양한 센서에 의해서 위치 정보와 같은 다양한 정보를 획득하는 기능을 추가적으로 구비할 수 있다.
증강 현실을 제공하기 위해서, 실제 환경의 객체에 마커(marker)를 부착할 수 있다. 실제 환경의 객체에 마커가 부착된 경우(이하 "마커 방식"이라고도 지칭됨), 예컨대, 사용자 단말기를 통하여 영상으로 입력되는 실제 환경의 객체의 마커를 식별하는 것에 의해서, 증강 현실 애플리케이션은 마커를 기초로 증강 현실을 제공할 수 있다.
그러나 마커 방식은 미리 객체에 마커를 부착한 경우에 제한적으로 적용되는 단점이 있다.
한편, 실제 환경의 객체에 마커가 부착되지 않은 경우(이하, "마커리스(markerless) 방식"이라고도 지칭됨)에도 증강 현실을 제공하기 위해서, 실제 환경의 객체의 이미지를 마커로 사용할 수 있다.
예컨대, 엘지전자 주식회사에 의해서 출원되고 2015년 8월 18일자로 공개된 "이동 단말기 및 그의 증강현실 제공 방법"이라는 명칭의 한국공개특허공보 제10-2015-0093536호(특허문헌 1)에 따르면, 마커리스 객체를 기초로 증강 현실을 제공할 수 있다.
한국공개특허공보 제10-2015-0093536호에 따르면, 사용자는 실제 환경의 객체를 마커리스 객체로서 등록하고, 마커리스 객체에 대응하여 가상 정보(즉, 가상 객체)를 등록한다. 따라서, 한국공개특허공보 제10-2015-0093536호에 따르면, 증강 현실을 제공하기 위해서는, 사용자가 미리 마커리스 객체 및 가상 객체를 등록해야 한다는 단점이 있다.
예컨대, 전자부품연구원에 의해서 출원되고 2020년 6월 30일자로 공개된 "마커리스 방식의 증강현실 제공장치"라는 명칭의 한국공개특허공보 제10-2020-0077049호(특허문헌 2)에 따르면, 실제 환경의 객체를 식별하고 식별된 객체와 관련된 가상 객체를 실시간으로 화면에 오버랩하여 표시할 수 있다.
한국공개특허공보 제10-2020-0077049호에 따르면, 사용자 단말기를 통하여 영상으로 입력되는 실제 환경의 객체의 특징점을 추출하고, 실제 환경의 객체의 특징점과 미리 저장된 가상 객체들의 특징점을 비교하는 것에 의해서 실제 객체를 식별하고, 실제 환경의 객체에 대응한 가상 객체를 제공할 수 있다.
그러나 한국공개특허공보 제10-2020-0077049호는 특히 군사 분야와 같은 한정된 사용 환경에서 사용되는 것을 전제로 한 것으로, 실제 환경에 존재하는 다양한 객체에 대해서 일반적으로 적용하기는 어렵다.
한편 증강 현실을 통하여 가상 객체로서 동영상을 제공하기 위해서는, 다음과 같은 방식을 고려할 수 있다.
우선, 마커 방식의 경우, 실제 환경의 객체에 부착된 마커가 예컨대 URI(uniform resource identifier)와 같은 동영상 컨텐츠의 통합 자원 식별 정보를 포함하도록 구성한다. 사용자 단말기는 마커를 기초로 식별되는 동영상 컨텐츠를 제공할 수 있다. 그러나, 마커 방식에 따르면, 마커에 대해서 사전에 지정된 동영상 컨텐츠만이 제공될 수 있다. 또한 마커 방식은, 마커가 부착되지 않은 객체에 대해서는 적용될 수 없으므로, 일반적으로는 적용될 수 없다.
다음으로, 마커리스 방식의 경우, 예컨대 한국공개특허공보 제10-2015-0093536호에서 개시된 구성에 따르면, 사용자가 실제 환경의 객체의 이미지를 마커리스 객체로서 등록하고, 마커리스 객체에 대응하여 동영상 컨텐츠의 통합 자원 식별 정보를 가상 객체로서 등록한다. 따라서, 전술한 바와 같이, 사용자가 미리 마커리스 객체 및 동영상 컨텐츠(가상 객체)를 등록해야 한다는 단점이 있다. 또한, 예컨대 한국공개특허공보 제10-2020-0077049호에서 개시된 구성에 따르면, 가상 객체는 실제 객체에 대해서 미리 지정되므로, 실제 객체에 대해서 사전에 지정된 동영상 컨텐츠만이 제공될 수 있다. 한국공개특허공보 제10-2020-0077049호에서 개시된 구성은, 한정된 사용 환경에서 사용될 수 있으므로, 일반적으로 적용되기 어렵다.
1. 한국공개특허공보 제10-2015-0093536호. 2. 한국공개특허공보 제10-2020-0077049호.
본원에서 설명되는 기술의 목적은, 실제 환경의 객체에 대응하는 적어도 하나의 동영상 컨텐츠를 동적으로 선택하고, 적어도 하나의 동영상 컨텐츠에 대한 통합 자원 식별 정보를 제공하는, 증강 현실을 위한 동영상 컨텐츠 선택 장치를 제공하는 데 있다.
본원에서 설명되는 기술의 다른 목적은, 실제 환경의 객체에 대응하여 동적으로 선택되는 적어도 하나의 동영상 컨텐츠를 사용자 입력을 기초로 객체에 대응하여 표시하여 사용자에게 동적으로 제공하는, 증강 현실을 위한 사용자 단말기를 제공하는 데 있다.
본원에서 설명되는 기술의 또 다른 목적은, 실제 환경의 객체에 대응하는 적어도 하나의 동영상 컨텐츠를 동적으로 선택하고 적어도 하나의 동영상 컨텐츠를 사용자 입력을 기초로 객체에 대응하여 표시하여 사용자에게 동적으로 제공하는, 증강 현실을 위한 동영상 컨텐츠 제공 방법을 제공하는 데 있다.
상기 기술적 과제를 달성하기 위하여, 본원에서 설명되는 기술의 일 형태에 따르면, 통신 인터페이스; 및 (a) 인터넷을 통하여 복수의 동영상 컨텐츠를 수집하는 처리와, (b) 상기 복수의 동영상 컨텐츠 각각에 대해서 특징 정보를 추출하고 메타데이터를 추출하고, 미리 지정된 해싱 함수를 이용하여 상기 특징 정보에 대응하는 해시(hash)값을 생성하는 처리와, (c) 상기 복수의 동영상 컨텐츠 각각의 상기 해시값 및 상기 메타데이터를 적어도 포함하도록 데이터베이스를 관리하는 처리와, (d) 사용자 단말기로부터 실제 환경의 객체에 대응하는 객체 정보를 상기 통신 인터페이스를 이용하여 수신하는 처리와, (e) 상기 객체 정보를 기초로 상기 데이터베이스를 검색하여, 상기 복수의 동영상 컨텐츠 중에서 상기 객체 정보에 대응되는 동영상 컨텐츠를 선택하는 처리와, (f) 상기 선택된 동영상 컨텐츠의 상기 메타데이터를 상기 사용자 단말기로 상기 통신 인터페이스를 이용하여 전송하는 처리를 수행하는 연산 처리부를 포함하고, 상기 복수의 동영상 컨텐츠 각각의 상기 특징 정보는, 키 프레임 또는 대표 이미지(thumbnail) 내의 객체의 이미지를, 강체(rigid) 변환, 유사(similarity) 변환, 선형(linear) 변환, 아핀(affine) 변환, 투영(projection) 변환, 조명에 기초한 변환 및 잡음에 기초한 변환 중 적어도 하나를 포함하는 미리 지정된 변환 방식을 이용하여 변환한 이미지를 포함하는 것인, 증강 현실을 위한 동영상 컨텐츠 선택 장치가 제공된다.
본원에서 설명되는 기술의 다른 일 형태에 따르면, 통신 인터페이스; 영상 획득부; 영상 표시부; 및 (a) 상기 영상 획득부를 통하여 실제 환경의 영상을 획득하는 처리와, (b) 상기 실제 환경의 상기 영상으로부터 상기 실제 환경의 객체에 대응하는 객체 정보를 추출하는 처리와, (c) 상기 객체 정보를 상기 통신 인터페이스를 이용하여 증강 현실을 위한 동영상 컨텐츠 선택 장치로 전송하는 처리와, (d) 상기 동영상 컨텐츠 선택 장치로부터 상기 통신 인터페이스를 이용하여 동영상 컨텐츠의 메타데이터를 수신하는 처리와, (e) 상기 실제 환경의 상기 객체 상에 상기 동영상 컨텐츠의 상기 메타데이터의 적어도 일부가 중첩되도록 상기 동영상 컨텐츠의 상기 메타데이터의 적어도 일부를 상기 영상 표시부를 통하여 표시하는 처리와, (f) 사용자 입력을 기초로 상기 동영상 컨텐츠를 재생하는 처리를 수행하는 연산 처리부를 포함하고, 상기 처리 (e)는, (e-1) 상기 실제 환경의 상기 객체 상에 상기 메타데이터에 포함된 대표 이미지가 중첩되도록 상기 영상 표시부를 통하여 표시하는 처리를 포함하는 것인 사용자 단말기가 제공된다.
본원에서 설명되는 기술의 다른 일 형태에 따르면, 동영상 컨텐츠 선택 장치 및 사용자 단말기에 의해서 수행되는 증강 현실을 위한 동영상 컨텐츠 제공 방법으로서, (a) 상기 동영상 컨텐츠 선택 장치가, 인터넷을 통하여 복수의 동영상 컨텐츠를 수집하는 단계; (b) 상기 동영상 컨텐츠 선택 장치가, 상기 복수의 동영상 컨텐츠 각각에 대해서 특징 정보를 추출하고, 메타데이터를 추출하고, 미리 지정된 해싱 함수를 이용하여 상기 특징 정보에 대응하는 해시값을 생성하는 단계; (c) 상기 동영상 컨텐츠 선택 장치가, 상기 복수의 동영상 컨텐츠 각각의 상기 해시값 및 상기 메타데이터를 적어도 포함하도록 데이터베이스를 관리하는 단계; (d) 상기 사용자 단말기가, 실제 환경의 영상을 획득하는 단계; (e) 상기 사용자 단말기가, 상기 실제 환경의 상기 영상으로부터 상기 실제 환경의 객체에 대응하는 객체 정보를 추출하는 단계; (f) 상기 사용자 단말기가, 상기 객체 정보를 상기 동영상 컨텐츠 선택 장치로 전송하는 단계; (g) 상기 동영상 컨텐츠 선택 장치가, 상기 객체 정보를 수신하는 단계; (h) 상기 동영상 컨텐츠 선택 장치가, 상기 객체 정보를 기초로 상기 데이터베이스를 검색하여, 상기 복수의 동영상 컨텐츠 중에서 상기 객체 정보에 대응되는 동영상 컨텐츠를 선택하는 단계; (i) 상기 동영상 컨텐츠 선택 장치가, 상기 선택된 동영상 컨텐츠의 상기 메타데이터를 상기 사용자 단말기로 전송하는 단계; (j) 상기 사용자 단말기가, 상기 동영상 컨텐츠 선택 장치로부터 상기 선택된 동영상 컨텐츠의 상기 메타데이터를 수신하는 단계; (k) 상기 사용자 단말기가, 상기 실제 환경의 상기 객체 상에 상기 선택된 동영상 컨텐츠의 상기 메타데이터의 적어도 일부가 중첩되도록 상기 선택된 동영상 컨텐츠의 상기 메타데이터의 적어도 일부를 표시하는 단계; 및 (l) 상기 사용자 단말기가, 사용자 입력을 기초로 상기 선택된 동영상 컨텐츠를 재생하는 단계를 포함하고, 상기 복수의 동영상 컨텐츠 각각의 상기 특징 정보는, 키 프레임 또는 대표 이미지 내의 객체의 이미지를, 강체 변환, 유사 변환, 선형 변환, 아핀 변환, 투영 변환, 조명에 기초한 변환 및 잡음에 기초한 변환 중 적어도 하나를 포함하는 미리 지정된 변환 방식을 이용하여 변환한 이미지를 포함하는 것인, 증강 현실을 위한 동영상 컨텐츠 제공 방법이 제공된다.
본원에서 설명되는 기술에 따르면, 실제 환경의 객체에 대응하는 적어도 하나의 동영상 컨텐츠를 동적으로 선택하고, 적어도 하나의 동영상 컨텐츠에 대한 통합 자원 식별 정보를 제공하는, 증강 현실을 위한 동영상 컨텐츠 선택 장치를 제공할 수 있다. 동영상 컨텐츠 선택 장치는, 복수의 키 프레임에 대응하는 복수의 해시값, 대표 이미지에 대응하는 해시값, 복수의 키 프레임 내의 하나 이상의 객체에 대응하는 복수의 해시값, 대표 이미지 내의 하나 이상의 객체에 대응하는 하나 이상의 해시값과 같은 다양한 해시값을 이용하여 동영상 컨텐츠를 선택할 수 있다. 따라서, 증강 현실을 위한 동영상 컨텐츠를 보다 용이하고 정확하게 선택할 수 있다.
또한 본원에서 설명되는 기술에 따르면, 실제 환경의 객체에 대응하여 동적으로 선택되는 적어도 하나의 동영상 컨텐츠를 사용자 입력을 기초로 객체에 대응하여 표시하여 사용자에게 동적으로 제공하는, 증강 현실을 위한 사용자 단말기를 제공할 수 있다. 특히 사용자가 관심을 가질 수 있는 동영상 컨텐츠를 증강 현실을 이용하여 제공할 수 있다.
또한 본원에서 설명되는 기술에 따르면, 실제 환경의 객체에 대응하는 적어도 하나의 동영상 컨텐츠를 동적으로 선택하고 적어도 하나의 동영상 컨텐츠를 사용자 입력을 기초로 객체에 대응하여 표시하여 사용자에게 동적으로 제공하는, 증강 현실을 위한 동영상 컨텐츠 제공 방법을 제공할 수 있다.
도 1은 본원에서 설명되는 기술의 실시예에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치와 사용자 단말기의 예시적인 구성을 나타내는 도면.
도 2는 본원에서 설명되는 기술의 실시예에 있어서, 동영상 컨텐츠의 구성 및 동영상 컨텐츠와 관련하여 수집되는 메타데이터 및 동영상 컨텐츠의 조회수 및 선호도와 같은 정보의 예시적인 구성을 나타내는 도면.
도 3은 본원에서 설명되는 기술의 실시예에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치의 연산 처리부가 수행하는 처리의 일 예를 나타내는 도면.
도 4는 본원에서 설명되는 기술의 실시예에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치의 연산 처리부에 의해서 관리되는 데이터베이스의 예시적인 구성을 나타내는 도면.
도 5는 본원에서 설명되는 기술의 실시예에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치의 연산 처리부가 동영상 컨텐츠를 선택하기 위해서 수행하는 처리를 예시적으로 나타내는 도면.
도 6은 본원에서 설명되는 기술의 실시예에 따른 사용자 단말기의 연산 처리부가 수행하는 처리의 일 예를 나타내는 도면.
도 7은 본원에서 설명되는 기술의 실시예에 따른 사용자 단말기의 연산 처리부가 동영상 컨텐츠의 메타데이터의 적어도 일부를 표시하기 위해서 수행하는 처리의 일 예를 나타내는 도면.
이하, 본원에서 설명되는 기술에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치 및 동영상 컨텐츠 제공 방법의 실시예를 첨부한 도면을 참조로 보다 구체적으로 설명한다. 한편 본원에서 설명되는 기술의 실시예를 설명하기 위한 도면들에서, 설명의 편의를 위해서 실제 구성 중 일부만을 도시하거나 일부를 생략하여 도시하거나 변형하여 도시하거나 또는 축척이 다르게 도시될 수 있다.
<실시예>
도 1은 본원에서 설명되는 기술의 실시예에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치와 사용자 단말기의 예시적인 구성을 나타내는 도면이다.
도 1을 참조하면, 증강 현실을 위한 동영상 컨텐츠 선택 장치(100)는, 통신 인터페이스(110)와, 연산 처리부(130)를 포함한다. 또한 증강 현실을 위한 동영상 컨텐츠 선택 장치(100)는, 데이터베이스(150)를 내부적으로 포함하거나 또는 외부의 데이터베이스(150)와 접속된다. 도 1에서는, 동영상 컨텐츠 선택 장치(100)가 데이터베이스(150)를 내부적으로 포함하는 예를 도시한다.
본원에서 설명되는 기술에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치(100)는 예컨대 개인용 컴퓨터 및 전용 컴퓨터와 같은 컴퓨팅 장치를 이용하여 구현될 수 있다.
통신 인터페이스(110)는 예컨대 유무선 인터넷을 위한 인터페이스이다. 통신 인터페이스(110)는 예컨대 통신 기능을 처리하는 반도체 소자, 즉 통신 칩과 같은 반도체 소자에 의해서 구현될 수 있다.
통신 인터페이스(110)는 사용자 단말기(200)와 통신을 수행하며, 동영상 컨텐츠 제공 장치(미도시)와 통신을 수행할 수 있다. 동영상 컨텐츠 제공 장치는 예컨대 Youtube와 같은 동영상 컨텐츠 제공 업체에 의해서 운영되며, 네트워크를 통하여 다양한 동영상 컨텐츠를 제공하는 장치를 지칭한다.
연산 처리부(130)는 본원에서 개시되는 기술의 실시예에 따라서 다양한 처리를 수행한다. 연산 처리부(130)는 예컨대 CPU(central processing unit)와 같은 반도체 소자에 의해서 구현될 수 있다.
연산 처리부(130)가 수행하는 처리는 후술한다.
데이터베이스(150)는 연산 처리부(130)에 의해서 관리된다. 데이터베이스(150)의 예시적인 구성은 후술한다.
도 2는 본원에서 설명되는 기술의 실시예에 있어서, 동영상 컨텐츠의 구성 및 동영상 컨텐츠와 관련하여 수집되는 메타데이터 및 동영상 컨텐츠의 조회수 및 선호도와 같은 정보의 예시적인 구성을 나타내는 도면이다.
도 2를 참조하면, 동영상 컨텐츠(300)는 복수의 프레임을 포함한다. 본 실시예에서는, 예컨대 제1 프레임, 제i 프레임, 제j 프레임 및 제k 프레임(i, j, k는 적절한 자연수)과 같이 동영상 컨텐츠(300)의 복수의 프레임 중 일부의 프레임을 후술하는 특징 정보를 추출하기 위해서 이용할 수 있다.
동영상 컨텐츠(300)의 메타데이터(400)는 통합 자원 식별 정보(Uniform Resource Identifier)를 적어도 포함하고, 제목, 저작자, 재생 시간, 대표 이미지[예컨대 썸네일(thumbnail)] 및 해시태그 중 적어도 하나를 더 포함할 수 있다. 동영상 컨텐츠(300)의 메타데이터(400)는 동영상 컨텐츠 제공 장치(미도시)에 의해서 제공될 수 있다.
동영상 컨텐츠(300)의 조회수/선호도(500)는 동영상 컨텐츠 제공 장치(미도시)에 의해서 제공될 수 있으며, 또는 동영상 컨텐츠 선택 장치(100)에 의해서 생성 및 유지될 수도 있다.
도 3은 본원에서 설명되는 기술의 실시예에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치의 연산 처리부가 수행하는 처리의 일 예를 나타내는 도면이다.
도 3을 참조하면, 우선, 연산 처리부(130)는 인터넷을 통하여 복수의 동영상 컨텐츠를 수집하는 처리(P110)를 수행한다. 예컨대 연산 처리부(130)는 동영상 컨텐츠 제공 장치(미도시)로부터 복수의 동영상 컨텐츠를 수집할 수 있다. 보다 구체적으로, 연산 처리부(130)는 복수의 동영상 컨텐츠 각각을 전체적으로 수집할 수도 있지만, 복수의 동영상 컨텐츠 각각에 대해서, 필요한 부분(예컨대 후술하는 특징 정보를 추출하기 위해서 필요한 부분)과 메타데이터만을 수집할 수도 있다.
다음으로, 연산 처리부(130)는 처리 P110을 통하여 수집한 복수의 동영상 컨텐츠 각각에 대해서 특징 정보를 추출하고 메타데이터를 추출하고, 미리 지정된 해싱 함수를 이용하여 특징 정보에 대응하는 해시(hash)값을 생성하는 처리(P120)를 수행한다.
복수의 동영상 컨텐츠 각각의 특징 정보는, 키 프레임의 이미지, 키 프레임 내의 객체의 이미지, 대표 이미지(예컨대, 썸네일) 중 적어도 하나를 포함할 수 있다.
처리 P120에 따르면, 예컨대 도 2에 도시된 동영상 컨텐츠(300)의 복수의 프레임 중에서, 예컨대 제1 프레임, 제i 프레임, 제j 프레임 및 제k 프레임과 같은 프레임이 키 프레임으로서 선택된다. 즉, 키 프레임은 복수 개 선택되고, 복수의 키 프레임 각각의 이미지에 대해서 해시값을 생성할 수도 있다.
또한, 키 프레임 내의 객체의 이미지에 대해서 해시값을 생성할 수 있다. 키 프레임 내의 객체는 객체 검출 알고리즘, 예컨대 R-CNN, R-FCN, SSD 및 YOLO와 같은 알고리즘을 이용한 영상 처리에 의해서 추출될 수 있다. 이하 대표 이미지 내의 객체를 추출하는 것 역시 마찬가지이다. 예컨대 특정한 키 프레임 내에 복수의 객체가 존재한다면, 복수의 객체 각각의 이미지에 대해서 해시값을 생성할 수도 있다.
또한, 동영상 컨텐츠(300)의 대표 이미지에 대해서 해시값을 생성할 수 있다. 예컨대 대표 이미지 내에 복수의 객체가 존재한다면, 대표 이미지 내의 복수의 객체 각각의 이미지에 대해서 해시값을 생성할 수도 있다.
또한, 복수의 동영상 컨텐츠 각각의 특징 정보는, 키 프레임 또는 대표 이미지 내의 객체의 이미지를, 강체(rigid) 변환, 유사(similarity) 변환, 선형(linear) 변환, 아핀(affine) 변환, 투영(projection) 변환, 조명에 기초한 변환 및 잡음에 기초한 변환 중 적어도 하나를 포함하는 미리 지정된 변환 방식을 이용하여 변환한 이미지를 포함할 수 있다. 전술한 변환 방식을 이용하여 변환한 이미지에 대해서도 해시값을 생성할 수도 있다.
전술한 변환 방식은 동영상 컨텐츠 내의 객체의 이미지에 대해서 정규화된 조건에서 해시값을 생성하기 위해서 사용될 수 있다. 예컨대 조명의 변화에 따라서 객체의 이미지가 달라지는 경우를 고려하여, 객체의 이미지가 특정한 조명 환경 하에서 표시될 수 있도록, 객체의 이미지에 대해서 조명에 기초한 변환을 수행할 수 있다.
이와 같이, 처리 P120에 따르면, 예컨대 하나의 동영상 컨텐츠에 대해서 복수 개의 해시값을 생성할 수 있다. 즉, 복수의 키 프레임에 대응하는 복수의 해시값, 대표 이미지에 대응하는 해시값, 복수의 키 프레임 내의 하나 이상의 객체에 대응하는 복수의 해시값, 대표 이미지 내의 하나 이상의 객체에 대응하는 하나 이상의 해시값 등이 생성될 수 있다.
또한, 처리 P120에 따르면, 처리 P110을 통하여 수집한 복수의 동영상 컨텐츠 각각에 대해서 메타데이터가 추출된다.
전술하듯이, 복수의 동영상 컨텐츠 각각의 메타데이터는 복수의 동영상 컨텐츠 각각의 통합 자원 식별 정보(Uniform Resource Identifier)를 적어도 포함하며, 제목, 저작자, 재생 시간, 대표 이미지 및 해시태그 중 적어도 하나를 더 포함할 수 있다. 해시태그는 동영상 컨텐츠의 분류와 검색을 용이하도록 만든 메타데이터로서, 예컨대 단어 또는 문구 앞에 "#"와 같은 표시를 부가한 형태이다.
다음으로, 연산 처리부(130)는 처리 P120을 통하여 추출된 복수의 동영상 컨텐츠 각각의 해시값 및 메타데이터를 적어도 포함하도록 데이터베이스(150)를 관리하는 처리(P130)를 수행한다.
도 4는 본원에서 설명되는 기술의 실시예에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치의 연산 처리부에 의해서 관리되는 데이터베이스의 예시적인 구성을 나타내는 도면이다.
도 4를 참조하면, 데이터베이스(150) 내에는, 해시값과, 메타데이터가 저장 및 관리된다. 또한 데이터베이스(150) 내에는 조회수 및 선호도와 같은 정보가 추가적으로 저장 및 관리될 수 있다. 데이터베이스(150) 내의 정보는 갱신될 수도 있다.
예컨대 "동영상 컨텐츠 #1"에 대해서 복수 개의 해시값이 대응될 수 있다. 즉 전술하듯이, "동영상 컨텐츠 #1"의 복수의 키 프레임에 대응하는 복수의 해시값, 대표 이미지에 대응하는 해시값, 복수의 키 프레임 내의 하나 이상의 객체에 대응하는 복수의 해시값, 대표 이미지 내의 하나 이상의 객체에 대응하는 하나 이상의 해시값이 예컨대 "해시값 #1" 내지 "해시값 #100"으로서 데이터베이스(150) 내에 저장된다.
또한 "동영상 컨텐츠 #1"에 대해서, 메타데이터가 저장된다. 메타데이터는 적어도 통합 자원 식별 정보를 포함하며, 기타 전술한 정보도 포함할 수 있다.
즉 "해시값 #1" 내지 "해시값 #100"에 대해서 동일한 메타데이터가 저장된다. 마찬가지로, "해시값 #1" 내지 "해시값 #100"에 대해서 동일한 조회수 또는 선호도가 저장될 수 있다.
다음으로, 연산 처리부(130)는 사용자 단말기(200)로부터 실제 환경의 객체에 대응하는 객체 정보를 통신 인터페이스(110)를 이용하여 수신하는 처리(P140)를 수행한다.
객체 정보는 사용자 단말기(200)가 처리 P120에서 이용되는 미리 지정된 해싱 함수와 동일한 해싱 함수를 이용하여 생성한 실제 환경의 객체의 이미지의 해시값을 포함할 수 있다. 사용자 단말기(200)가 미리 지정된 해싱 함수를 이용하여 실제 환경의 객체의 이미지의 해시값을 생성하는 구체적인 처리는 후술한다.
객체 정보는 사용자 단말기(200)가 추출한 실제 환경의 객체의 이미지를 포함할 수 있다. 사용자 단말기(200)가 실제 환경의 객체의 이미지를 추출하는 구체적인 처리 역시 후술한다.
다음으로, 연산 처리부(130)는 처리 P140을 통하여 수신한 객체 정보를 기초로 데이터베이스(150)를 검색하여, 복수의 동영상 컨텐츠 중에서 객체 정보에 대응되는 동영상 컨텐츠를 선택하는 처리(P150)를 수행한다.
도 5는 본원에서 설명되는 기술의 실시예에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치의 연산 처리부가 동영상 컨텐츠를 선택하기 위해서 수행하는 처리를 예시적으로 나타내는 도면이다.
객체 정보가 실제 환경의 객체의 이미지의 해시값을 포함하는 경우, 처리 P150은, 복수의 동영상 컨텐츠 중에서 해시값이 객체 정보에 포함된 해시값과 동일한 것인 동영상 컨텐츠를 선택하는 처리(P151)를 포함할 수 있다.
즉, 연산 처리부(130)는 처리 P140을 통하여 수신한 해시값과 데이터베이스(150) 내에 저장된 해시값을 비교하고, 처리 P140을 통하여 수신한 해시값과 동일한 해시값에 대응하는 동영상 컨텐츠를 선택한다. 예컨대 처리 P140을 통하여 수신한 해시값이 "해시값 #1"과 동일하다면, 연산 처리부(130)는 처리 P151을 통하여 "동영상 컨텐츠 #1"을 선택한다.
객체 정보는 실제 환경의 객체의 이미지의 해시값 뿐만 아니라 사용자 단말기(200)의 위치 정보, 예컨대 GPS를 통하여 추출한 위치 정보를 포함할 수 있다. 또한 메타데이터는 통합 자원 식별 정보 및 지역 정보를 나타내는 해시태그를 포함할 수 있다. 예컨대 지역 정보를 나타내는 해시태그는 "#서울", "#강남"과 같은 형태이다. 그 경우, 처리 P150은, 복수의 동영상 컨텐츠 중에서 지역 정보가 객체 정보에 포함된 위치 정보에 대응하며 해시값이 객체 정보에 포함된 해시값과 동일한 것인 동영상 컨텐츠를 선택하는 처리(P153)를 포함할 수 있다.
예컨대, 연산 처리부(130)는 처리 P140을 통하여 수신한 객체 정보의 해시값이 "해시값 #1" 및 "해시값 #101"과 동일하고, 처리 P140을 통하여 수신한 객체 정보의 위치 정보가 "동영상 컨텐츠 #2"의 해시태그에 포함된 지역 정보에 대응한다면, 연산 처리부(130)는 처리 P153을 통하여 "동영상 컨텐츠 #2"를 선택한다.
또한 메타데이터는 통합 자원 식별 정보 및 지역 정보 및 시간 정보 중 적어도 하나를 나타내는 해시태그를 포함할 수 있다. 시간 정보는, 예컨대 "#저녁", "#가을", "#7월"과 같이, 다양한 형태를 가질 수 있다. 또한 전술하듯이 데이터베이스(150) 내에는 조회수 및 선호도와 같은 정보가 추가적으로 저장 및 관리될 수 있다. 그 경우, 처리 P150은, 복수의 동영상 컨텐츠 중에서 해시값이 객체 정보에 포함된 해시값과 동일한 것이 없다면, 복수의 동영상 컨텐츠 중에서, 현재 시간이 메타데이터 내에 포함된 시간 정보에 대응하거나, 지역 정보가 객체 정보에 포함된 위치 정보에 대응하거나, 또는 지역 정보가 객체 정보에 포함된 위치 정보에 대응하고 조회수가 미리 지정된 조회수 이상이거나 선호도가 상기 미리 지정된 값 이상인 것인 동영상 컨텐츠를 선택하는 처리(P155)를 포함할 수 있다.
예컨대, 연산 처리부(130)는 복수의 동영상 컨텐츠 중에서 해시값이 객체 정보에 포함된 해시값과 동일한 것이 없다면, 예컨대 "#가을", "#강남" 등의 해시태그에 적합하거나 "#강남" 등의 해시태그에 대해서 조회수 또는 선호도가 높은 동영상 컨텐츠를 선택할 수 있다.
한편 전술하듯이, 처리 P140을 통하여 수신한 객체 정보는 실제 환경의 객체의 이미지의 해시값 대신에 실제 환경의 객체의 이미지를 포함할 수 있다. 그 경우, 처리 P150은, 후술하는 처리 P170을 통하여 생성된 실제 환경의 객체의 이미지의 해시값을 기초로 데이터베이스(150)를 검색하는 처리(P157)를 더 포함할 수 있다. 일단 처리 P170을 통하여 생성된 실제 환경의 객체의 이미지의 해시값이 생성되면, 예컨대 처리 P151, 처리 P153 또는 처리 P155와 마찬가지로 동영상 컨텐츠가 선택될 수 있다.
다음으로, 연산 처리부(130)는 처리 P150을 통하여 선택된 동영상 컨텐츠의 메타데이터를 사용자 단말기(200)로 통신 인터페이스(110)를 이용하여 전송하는 처리(P160)를 수행한다. 즉, 연산 처리부(130)는 동영상 컨텐츠 자체를 전송하는 것이 아니라 동영상 컨텐츠의 메타데이터(보다 구체적으로는 통합 자원 식별 정보)를 전송한다. 사용자 단말기(200)는 통합 자원 식별 정보를 기초로 동영상 컨텐츠를 수신 및 제공할 수 있다.
한편, 처리 P140을 통하여 수신한 객체 정보는 실제 환경의 객체의 이미지를 포함할 수 있다. 그 경우, 도 3을 참조하면, 연산 처리부(130)는 처리 P120에서 이용되는 미리 지정된 해싱 함수를 이용하여 실제 환경의 객체의 이미지의 해시값을 생성하는 처리(P170)를 더 수행할 수 있다.
처리 P170은 처리 P120에서의 해시값을 생성하는 것과 실질적으로 동일하므로 상세한 설명을 생략한다. 다만, 처리 P170에서, 실제 환경의 객체의 이미지를 전술한 변환 방식을 이용하여 변환한 이미지에 대해서도 해시값을 생성할 수도 있다.
다음으로, 다시 도 1을 참조하면, 사용자 단말기(200)는 통신 인터페이스(210)와, 연산 처리부(230)와, 영상 획득부(250)와, 영상 표시부(270)를 포함한다.
본원에서 설명되는 기술에 따른 사용자 단말기(200)는 예컨대 스마트 폰 및 스마트 글래스와 같은 컴퓨팅 장치를 이용하여 구현될 수 있다.
통신 인터페이스(210)는 예컨대 유무선 인터넷을 위한 인터페이스이다. 통신 인터페이스(210)는 예컨대 통신 기능을 처리하는 반도체 소자, 즉 통신 칩과 같은 반도체 소자에 의해서 구현될 수 있다.
통신 인터페이스(210)는 증강 현실을 위한 동영상 컨텐츠 선택 장치(100)와 통신을 수행하며, 동영상 컨텐츠 제공 장치(미도시)와 통신을 수행할 수 있다.
연산 처리부(230)는 본원에서 개시되는 기술의 실시예에 따라서 다양한 처리를 수행한다. 연산 처리부(230)는 예컨대 CPU(central processing unit)와 같은 반도체 소자에 의해서 구현될 수 있다.
연산 처리부(230)가 수행하는 처리는 후술한다.
영상 획득부(250)는 예컨대 하나 이상의 카메라를 포함하며, 실제 환경의 이미지를 획득한다.
영상 표시부(270)는 예컨대 스마트 폰의 경우 디스플레이와 같은 장치이며, 스마트 글래스의 경우, 스마트 글래스의 유리 면에 영상을 표시할 수 있도록 구성된 장치이다.
도 6은 본원에서 설명되는 기술의 실시예에 따른 사용자 단말기의 연산 처리부가 수행하는 처리의 일 예를 나타내는 도면이다.
도 6을 참조하면, 우선, 연산 처리부(230)는 영상 획득부(250)를 통하여 실제 환경의 영상을 획득하는 처리(P210)를 수행한다.
다음으로, 연산 처리부(230)는 처리 P210을 통하여 획득된 실제 환경의 영상으로부터 실제 환경의 객체에 대응하는 객체 정보를 추출하는 처리(P220)를 수행한다. 실제 환경의 객체는 전술한 객체 검출 알고리즘을 이용한 영상 처리에 의해서 추출될 수 있다. 실제 환경의 객체는 예컨대 실제 환경의 영상 중 미리 지정된 부분에 포함되는 것일 수 있다. 예컨대, 실제 환경의 객체는 사용자가 주시하고 있을 것으로 판단되는 부분, 즉 실제 환경의 영상 중에서 중앙 부분 및 그 주변 부분에 포함되는 것일 수 있다.
처리 P220은 전술한 처리 P120에서 이용되는 미리 지정된 해싱 함수와 동일한 해싱 함수를 이용하여 실제 환경의 객체의 기준 이미지를 변환하는 것에 의해서 해시값을 생성하고, 생성된 해시값을 객체 정보로서 지정하는 처리를 포함할 수 있다.
실제 환경의 객체의 기준 이미지를 변환하는 것에 의해서 해시값을 생성하는 구체적인 구성은 전술한 처리 P120에서 객체의 이미지의 해시값을 생성하는 구성과 실질적으로 동일하므로 상세한 설명을 생략한다.
실제 환경의 객체의 기준 이미지는, 전술한 처리 P120에서의 특징 정보와 유사하게, 실제 환경의 객체의 이미지; 및 객체의 이미지를 강체 변환, 유사 변환, 선형 변환, 아핀 변환, 투영 변환, 조명에 기초한 변환 및 잡음에 기초한 변환 중 적어도 하나를 포함하는 미리 지정된 변환 방식을 이용하여 변환한 이미지 중 적어도 하나를 포함할 수 있다. 따라서, 실제 환경의 객체의 기준 이미지에 대해서 상세한 설명을 생략한다.
처리 P220은 실제 환경의 객체의 이미지; 및 객체의 이미지를 강체 변환, 유사 변환, 선형 변환, 아핀 변환, 투영 변환, 조명에 기초한 변환 및 잡음에 기초한 변환 중 적어도 하나를 포함하는 미리 지정된 변환 방식을 이용하여 변환한 이미지 중 적어도 하나를 객체 정보로서 지정하는 처리를 포함할 수 있다. 즉 객체 정보는 해시값 대신에 이미지를 포함할 수 있다. 따라서, 증강 현실을 위한 동영상 컨텐츠 선택 장치(100)는 객체 정보에 포함된 이미지를 기초로 동영상 컨텐츠를 선택할 수 있다.
한편 객체 정보는 위치 정보를 더 포함할 수 있다. 즉 객체 정보는 사용자 단말기(200)의 GPS를 통하여 추출한 위치 정보를 더 포함할 수 있다. 객체 정보는 전술한 처리 P153 또는 처리 P155에서 동영상 컨텐츠를 선택하기 위해서 사용될 수 있다.
다음으로, 연산 처리부(230)는 처리 P220을 통하여 추출된 객체 정보를 통신 인터페이스(210)를 이용하여 증강 현실을 위한 동영상 컨텐츠 선택 장치(100)로 전송하는 처리(P230)를 수행한다.
다음으로, 연산 처리부(230)는 증강 현실을 위한 동영상 컨텐츠 선택 장치(100)로부터 통신 인터페이스(210)를 이용하여 동영상 컨텐츠의 메타데이터를 수신하는 처리(P240)를 수행한다.
다음으로, 연산 처리부(230)는 실제 환경의 객체 상에 처리 P240을 통하여 수신한 동영상 컨텐츠의 메타데이터의 적어도 일부가 중첩되도록, 동영상 컨텐츠의 메타데이터의 적어도 일부를 영상 표시부(270)를 통하여 표시하는 처리(P250)를 수행한다.
도 7은 본원에서 설명되는 기술의 실시예에 따른 사용자 단말기의 연산 처리부가 동영상 컨텐츠의 메타데이터의 적어도 일부를 표시하기 위해서 수행하는 처리의 일 예를 나타내는 도면이다.
도 7을 참조하면, 처리 P250은, 실제 환경의 객체 상에 메타데이터에 포함된 대표 이미지가 중첩되도록 영상 표시부(270)를 통하여 표시하는 처리(P251)를 포함할 수 있다. 스마트 폰의 경우, 실제 환경의 객체 상에 메타데이터에 포함된 대표 이미지가 중첩되도록 영상을 합성하여 디스플레이를 통하여 표시한다. 스마트 글래스의 경우, 사용자의 눈에 실제 환경의 객체 상에 메타데이터에 포함된 대표 이미지가 중첩되어 표시되도록, 스마트 글래스의 예컨대 유리 면에 영상을 투영한다.
또한 처리 P250은, 미리 지정된 시간 동안 실제 환경의 객체 상 뿐만 아니라 객체 이외의 부분까지 대표 이미지가 중첩되도록 대표 이미지를 확대하여 표시하는 처리(P253)를 포함할 수 있다. 즉 연산 처리부(230)는 사용자에게 보다 대표 이미지를 명확하게 표시하기 위해서, 대표 이미지를 확대하여 표시할 수 있다.
다음으로, 연산 처리부(230)는 사용자 입력을 기초로 동영상 컨텐츠를 재생하는 처리(P260)를 수행한다.
사용자 입력은 사용자 단말기(200)의 사용자의 제스처 및 사용자의 음성 입력과 같은 입력을 포함할 수 있다. 또한 스마트 폰의 경우, 사용자의 터치 입력을 포함할 수 있다.
처리 P260에서, 동영상 컨텐츠는 메타데이터에 포함된 통합 자원 식별 정보를 이용하여 수신될 수 있다. 즉 사용자 단말기(200)는 통합 자원 식별 정보를 이용하여 동영상 제공 장치(미도시)에 접속하고, 동영상 제공 장치로부터 동영상 컨텐츠를 수신할 수 있다.
도 6을 참조하면, 연산 처리부(230)는 미리 지정된 시간 이상 실제 환경의 객체가 처리 P210을 통하여 획득된 실제 환경의 영상에 포함되는 경우, 처리 P220을 수행하는 처리(P270)를 더 수행할 수 있다. 즉, 예컨대 1초 이상 실제 환경의 객체가 처리 P210을 통하여 획득된 실제 환경의 영상에 포함되는 경우, 사용자가 해당 객체에 관심을 가지고 있다고 판단할 수 있다. 따라서, 미리 지정된 시간 이상 실제 환경의 객체가 처리 P210을 통하여 획득된 실제 환경의 영상에 포함되는 경우, 처리 P220을 수행하는 것이 바람직하다.
<다른 실시예>
비록 본원에서 설명되는 기술의 실시예가 구체적으로 설명되었지만 이는 단지 본원에서 설명되는 기술을 예시적으로 설명한 것에 불과한 것으로, 본원에서 설명되는 기술이 속하는 기술 분야에서 통상의 지식을 가지는 자라면 본원에서 설명되는 기술의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 변형이 가능할 것이다.
예컨대, 본원에서 설명되는 기술은 증강 현실을 위한 동영상 컨텐츠 선택 방법에 적용될 수도 있다.
본원에서 설명되는 기술에 따른 동영상 컨텐츠 선택 방법은, (a) 인터넷을 통하여 복수의 동영상 컨텐츠를 수집하는 단계와, (b) 상기 복수의 동영상 컨텐츠 각각에 대해서 특징 정보를 추출하고 메타데이터를 추출하고, 미리 지정된 해싱 함수를 이용하여 상기 특징 정보에 대응하는 해시값을 생성하는 단계와, (c) 상기 복수의 동영상 컨텐츠 각각의 상기 해시값 및 상기 메타데이터를 적어도 포함하도록 데이터베이스를 관리하는 단계와, (d) 사용자 단말기로부터 실제 환경의 객체에 대응하는 객체 정보를 수신하는 단계와, (e) 상기 객체 정보를 기초로 상기 데이터베이스를 검색하여, 상기 복수의 동영상 컨텐츠 중에서 상기 객체 정보에 대응되는 동영상 컨텐츠를 선택하는 단계와, (f) 상기 선택된 동영상 컨텐츠의 상기 메타데이터를 상기 사용자 단말기로 전송하는 단계를 포함할 수 있다.
예컨대, 본원에서 설명되는 기술은 증강 현실을 위한 동영상 컨텐츠 제공 방법에 적용될 수도 있다.
본원에서 설명되는 기술에 따른 증강 현실을 위한 동영상 컨텐츠 제공 방법은, (a) 실제 환경의 영상을 획득하는 단계와, (b) 상기 실제 환경의 상기 영상으로부터 상기 실제 환경의 객체에 대응하는 객체 정보를 추출하는 단계와, (c) 상기 객체 정보를 증강 현실을 위한 동영상 컨텐츠 선택 장치로 전송하는 단계와, (d) 상기 동영상 컨텐츠 선택 장치로부터 동영상 컨텐츠의 메타데이터를 수신하는 단계와, (e) 상기 실제 환경의 상기 객체 상에 상기 동영상 컨텐츠의 상기 메타데이터의 적어도 일부가 중첩되도록 상기 동영상 컨텐츠의 상기 메타데이터의 적어도 일부를 표시하는 단계와, (f) 사용자 입력을 기초로 상기 동영상 컨텐츠를 재생하는 단계를 포함할 수 있다.
또한 본원에서 설명되는 기술에 따른 동영상 컨텐츠 선택 장치 및 사용자 단말기에 의해서 수행되는 증강 현실을 위한 동영상 컨텐츠 제공 방법은, (a) 동영상 컨텐츠 선택 장치가, 인터넷을 통하여 복수의 동영상 컨텐츠를 수집하는 단계; (b) 상기 동영상 컨텐츠 선택 장치가, 상기 복수의 동영상 컨텐츠 각각에 대해서 특징 정보를 추출하고, 메타데이터를 추출하고, 미리 지정된 해싱 함수를 이용하여 상기 특징 정보에 대응하는 해시값을 생성하는 단계; (c) 상기 동영상 컨텐츠 선택 장치가, 상기 복수의 동영상 컨텐츠 각각의 상기 해시값 및 상기 메타데이터를 적어도 포함하도록 데이터베이스를 관리하는 단계; (d) 상기 사용자 단말기가, 실제 환경의 영상을 획득하는 단계; (e) 상기 사용자 단말기가, 상기 실제 환경의 상기 영상으로부터 상기 실제 환경의 객체에 대응하는 객체 정보를 추출하는 단계; (f) 상기 사용자 단말기가, 상기 객체 정보를 상기 동영상 컨텐츠 선택 장치로 전송하는 단계; (g) 상기 동영상 컨텐츠 선택 장치가, 상기 객체 정보를 수신하는 단계; (h) 상기 동영상 컨텐츠 선택 장치가, 상기 객체 정보를 기초로 상기 데이터베이스를 검색하여, 상기 복수의 동영상 컨텐츠 중에서 상기 객체 정보에 대응되는 동영상 컨텐츠를 선택하는 단계; (i) 상기 동영상 컨텐츠 선택 장치가, 상기 선택된 동영상 컨텐츠의 상기 메타데이터를 상기 사용자 단말기로 전송하는 단계; (j) 상기 사용자 단말기가, 상기 동영상 컨텐츠 선택 장치로부터 상기 선택된 동영상 컨텐츠의 상기 메타데이터를 수신하는 단계; (k) 상기 사용자 단말기가, 상기 실제 환경의 상기 객체 상에 상기 선택된 동영상 컨텐츠의 상기 메타데이터의 적어도 일부가 중첩되도록 상기 선택된 동영상 컨텐츠의 상기 메타데이터의 적어도 일부를 표시하는 단계; 및 (l) 상기 사용자 단말기가, 사용자 입력을 기초로 상기 선택된 동영상 컨텐츠를 재생하는 단계를 포함할 수 있다.
본원에서 설명되는 기술에 따른 동영상 컨텐츠 선택 방법, 동영상 컨텐츠 제공 방법의 구체적인 특징들은, 전술한 실시예에 따른 증강 현실을 위한 동영상 컨텐츠 선택 장치 및 사용자 단말기의 특징들과 실질적으로 동일하다. 따라서, 본원에서 설명되는 기술에 따른 동영상 컨텐츠 선택 방법, 동영상 컨텐츠 제공 방법에 대해서 구체적인 설명을 생략한다.
따라서 본 명세서에 설명된 실시예들은 본원에서 설명되는 기술을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본원에서 설명되는 기술의 사상과 범위가 한정되는 것은 아니다. 본원에서 설명되는 기술의 권리 범위는 아래의 청구범위에 의해 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술은 본원에서 설명되는 기술의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본원에서 설명되는 기술에 따르면, 실제 환경의 객체에 대응하는 적어도 하나의 동영상 컨텐츠를 동적으로 선택하고, 적어도 하나의 동영상 컨텐츠에 대한 통합 자원 식별 정보를 제공하는, 증강 현실을 위한 동영상 컨텐츠 선택 장치를 제공할 수 있다. 동영상 컨텐츠 선택 장치는, 복수의 키 프레임에 대응하는 복수의 해시값, 대표 이미지에 대응하는 해시값, 복수의 키 프레임 내의 하나 이상의 객체에 대응하는 복수의 해시값, 대표 이미지 내의 하나 이상의 객체에 대응하는 하나 이상의 해시값과 같은 다양한 해시값을 이용하여 동영상 컨텐츠를 선택할 수 있다. 따라서, 증강 현실을 위한 동영상 컨텐츠를 보다 용이하고 정확하게 선택할 수 있다.
또한 본원에서 설명되는 기술에 따르면, 실제 환경의 객체에 대응하여 동적으로 선택되는 적어도 하나의 동영상 컨텐츠를 사용자 입력을 기초로 객체에 대응하여 표시하여 사용자에게 동적으로 제공하는, 증강 현실을 위한 사용자 단말기를 제공할 수 있다. 특히 사용자가 관심을 가질 수 있는 동영상 컨텐츠를 증강 현실을 이용하여 제공할 수 있다.
또한 본원에서 설명되는 기술에 따르면, 실제 환경의 객체에 대응하는 적어도 하나의 동영상 컨텐츠를 동적으로 선택하고 적어도 하나의 동영상 컨텐츠를 사용자 입력을 기초로 객체에 대응하여 표시하여 사용자에게 동적으로 제공하는, 증강 현실을 위한 동영상 컨텐츠 제공 방법을 제공할 수 있다.
100: 동영상 컨텐츠 선택 장치 110: 통신 인터페이스
130: 연산 처리부 150: 데이터베이스
200: 사용자 단말기 110: 통신 인터페이스
230: 연산 처리부 250: 영상 획득부
270: 영상 표시부 300: 동영상
400: 메타데이터

Claims (20)

  1. 통신 인터페이스; 및
    (a) 인터넷을 통하여 복수의 동영상 컨텐츠를 수집하는 처리와, (b) 상기 복수의 동영상 컨텐츠 각각에 대해서 특징 정보를 추출하고 메타데이터를 추출하고, 미리 지정된 해싱 함수를 이용하여 상기 특징 정보에 대응하는 해시(hash)값을 생성하는 처리와, (c) 상기 복수의 동영상 컨텐츠 각각의 상기 해시값 및 상기 메타데이터를 적어도 포함하도록 데이터베이스를 관리하는 처리와, (d) 사용자 단말기로부터 실제 환경의 객체에 대응하는 객체 정보를 상기 통신 인터페이스를 이용하여 수신하는 처리와, (e) 상기 객체 정보를 기초로 상기 데이터베이스를 검색하여, 상기 복수의 동영상 컨텐츠 중에서 상기 객체 정보에 대응되는 동영상 컨텐츠를 선택하는 처리와, (f) 상기 선택된 동영상 컨텐츠의 상기 메타데이터를 상기 사용자 단말기로 상기 통신 인터페이스를 이용하여 전송하는 처리를 수행하는 연산 처리부
    를 포함하고,
    상기 복수의 동영상 컨텐츠 각각의 상기 특징 정보는, 키 프레임 또는 대표 이미지(thumbnail) 내의 객체의 이미지를, 강체(rigid) 변환, 유사(similarity) 변환, 선형(linear) 변환, 아핀(affine) 변환, 투영(projection) 변환, 조명에 기초한 변환 및 잡음에 기초한 변환 중 적어도 하나를 포함하는 미리 지정된 변환 방식을 이용하여 변환한 이미지를 포함하는 것인, 증강 현실을 위한 동영상 컨텐츠 선택 장치.
  2. 제1항에 있어서,
    상기 복수의 동영상 컨텐츠 각각의 상기 메타데이터는, 통합 자원 식별 정보(Uniform Resource Identifier)를 적어도 포함하고, 제목, 저작자, 재생 시간, 대표 이미지 및 해시태그 중 적어도 하나를 더 포함하는 것인, 증강 현실을 위한 동영상 컨텐츠 선택 장치.
  3. 제1항에 있어서,
    상기 객체 정보는 상기 미리 지정된 해싱 함수를 이용하여 생성된 상기 실제 환경의 상기 객체의 이미지의 해시값을 포함하고,
    상기 처리 (e)는, (e-1) 상기 복수의 동영상 컨텐츠 중에서, 해시값이 상기 객체 정보에 포함된 해시값과 동일한 것인 상기 동영상 컨텐츠를 선택하는 처리를 포함하는 것인, 증강 현실을 위한 동영상 컨텐츠 선택 장치.
  4. 제1항에 있어서,
    상기 복수의 동영상 컨텐츠 각각의 상기 메타데이터는, 통합 자원 식별 정보(Uniform Resource Identifier) 및 지역 정보를 나타내는 해시태그를 포함하는 것이고,
    상기 객체 정보는 상기 미리 지정된 해싱 함수를 이용하여 생성된 상기 실제 환경의 상기 객체의 이미지의 해시값 및 상기 사용자 단말기의 위치 정보를 포함하고,
    상기 처리 (e)는, (e-2) 상기 복수의 동영상 컨텐츠 중에서, 지역 정보가 상기 객체 정보에 포함된 상기 위치 정보에 대응하며 해시값이 상기 객체 정보에 포함된 상기 해시값과 동일한 것인 상기 동영상 컨텐츠를 선택하는 처리를 포함하는 것인, 증강 현실을 위한 동영상 컨텐츠 선택 장치.
  5. 제1항에 있어서,
    상기 복수의 동영상 컨텐츠 각각의 상기 메타데이터는, 통합 자원 식별 정보(Uniform Resource Identifier), 지역 정보 및 시간 정보 중 적어도 하나를 나타내는 해시태그를 포함하는 것이고,
    상기 데이터베이스는 상기 복수의 동영상 컨텐츠 각각의 조회수 및 선호도 중 적어도 하나를 더 포함하는 것이고,
    상기 객체 정보는 상기 미리 지정된 해싱 함수를 이용하여 생성된 상기 실제 환경의 상기 객체의 이미지의 해시값 및 상기 사용자 단말기의 위치 정보를 포함하고,
    상기 처리 (e)는, (e-3) 상기 복수의 동영상 컨텐츠 중에서 해시값이 상기 객체 정보에 포함된 상기 해시값과 동일한 것이 없다면, 상기 복수의 동영상 컨텐츠 중에서, 현재 시간이 상기 시간 정보에 대응하거나 지역 정보가 상기 객체 정보에 포함된 상기 위치 정보에 대응하거나 또는 지역 정보가 상기 객체 정보에 포함된 상기 위치 정보에 대응하고 상기 조회수가 미리 지정된 조회수 이상이거나 상기 선호도가 상기 미리 지정된 값 이상인 것인 상기 동영상 컨텐츠를 선택하는 처리를 포함하는 것인, 증강 현실을 위한 동영상 컨텐츠 선택 장치.
  6. 제1항에 있어서,
    상기 객체 정보는 상기 실제 환경의 상기 객체의 이미지를 포함하고,
    상기 연산 처리부는, (g) 상기 미리 지정된 해싱 함수를 이용하여 상기 실제 환경의 상기 객체의 이미지의 해시값을 생성하는 처리를 더 수행하고,
    상기 처리 (e)는, (e-4) 상기 처리 (g)를 통하여 생성된 상기 실제 환경의 상기 객체의 이미지의 상기 해시값을 기초로 상기 데이터베이스를 검색하는 처리를 더 포함하는 것인, 증강 현실을 위한 동영상 컨텐츠 선택 장치.
  7. 통신 인터페이스;
    영상 획득부;
    영상 표시부; 및
    (a) 상기 영상 획득부를 통하여 실제 환경의 영상을 획득하는 처리와, (b) 상기 실제 환경의 상기 영상으로부터 상기 실제 환경의 객체에 대응하는 객체 정보를 추출하는 처리와, (c) 상기 객체 정보를 상기 통신 인터페이스를 이용하여 증강 현실을 위한 동영상 컨텐츠 선택 장치로 전송하는 처리와, (d) 상기 동영상 컨텐츠 선택 장치로부터 상기 통신 인터페이스를 이용하여 동영상 컨텐츠의 메타데이터를 수신하는 처리와, (e) 상기 실제 환경의 상기 객체 상에 상기 동영상 컨텐츠의 상기 메타데이터의 적어도 일부가 중첩되도록 상기 동영상 컨텐츠의 상기 메타데이터의 적어도 일부를 상기 영상 표시부를 통하여 표시하는 처리와, (f) 사용자 입력을 기초로 상기 동영상 컨텐츠를 재생하는 처리를 수행하는 연산 처리부
    를 포함하고,
    상기 처리 (e)는, (e-1) 상기 실제 환경의 상기 객체 상에 상기 메타데이터에 포함된 대표 이미지가 중첩되도록 상기 영상 표시부를 통하여 표시하는 처리를 포함하는 것인 사용자 단말기.
  8. 제7항에 있어서,
    상기 연산 처리부는, (g) 미리 지정된 시간 이상 상기 실제 환경의 상기 객체가 상기 실제 환경의 상기 영상에 포함되는 경우, 상기 처리 (b)를 수행하는 처리를 더 수행하는 것인 사용자 단말기.
  9. 제7항에 있어서,
    상기 객체는 상기 실제 환경의 상기 영상 중에서 미리 지정된 부분에 포함되는 것인 사용자 단말기.
  10. 제7항에 있어서,
    상기 처리 (b)는, (b-1) 미리 지정된 해싱 함수를 이용하여 상기 실제 환경의 상기 객체의 기준 이미지를 변환하는 것에 의해서 해시값을 생성하고, 상기 해시값을 상기 객체 정보로서 지정하는 처리를 포함하는 것인 사용자 단말기.
  11. 제10항에 있어서,
    상기 객체의 상기 기준 이미지는, 상기 실제 환경의 상기 객체의 이미지 및 상기 객체의 상기 이미지를 강체 변환, 유사 변환, 선형 변환, 아핀 변환, 투영 변환, 조명에 기초한 변환 및 잡음에 기초한 변환 중 적어도 하나를 포함하는 미리 지정된 변환 방식을 이용하여 변환한 이미지 중 적어도 하나를 포함하는 것인 사용자 단말기.
  12. 제7항에 있어서,
    상기 객체 정보는 위치 정보를 더 포함하는 것인 사용자 단말기.
  13. 제7항에 있어서,
    상기 처리 (b)는, (b-2) 상기 실제 환경의 상기 객체의 이미지 및 상기 객체의 상기 이미지를 강체 변환, 유사 변환, 선형 변환, 아핀 변환, 투영 변환, 조명에 기초한 변환 및 잡음에 기초한 변환 중 적어도 하나를 포함하는 미리 지정된 변환 방식을 이용하여 변환한 이미지 중 적어도 하나를 상기 객체 정보로서 지정하는 처리를 포함하는 것인 사용자 단말기.
  14. 제7항에 있어서,
    상기 처리 (e)는, (e-2) 미리 지정된 시간 동안 상기 실제 환경의 상기 객체 상 뿐만 아니라 상기 객체 이외의 부분까지 상기 대표 이미지가 중첩되도록 상기 대표 이미지를 확대하여 표시하는 처리를 더 포함하는 것인 사용자 단말기.
  15. 제7항에 있어서,
    상기 사용자 입력은 사용자의 제스처 및 상기 사용자의 음성 입력 중 적어도 하나를 포함하는 것이고,
    상기 처리 (f)에서, 상기 동영상 컨텐츠는 상기 메타데이터에 포함된 통합 자원 식별 정보를 이용하여 수신되는 것인 사용자 단말기.
  16. 동영상 컨텐츠 선택 장치 및 사용자 단말기에 의해서 수행되는 증강 현실을 위한 동영상 컨텐츠 제공 방법으로서,
    (a) 상기 동영상 컨텐츠 선택 장치가, 인터넷을 통하여 복수의 동영상 컨텐츠를 수집하는 단계;
    (b) 상기 동영상 컨텐츠 선택 장치가, 상기 복수의 동영상 컨텐츠 각각에 대해서 특징 정보를 추출하고, 메타데이터를 추출하고, 미리 지정된 해싱 함수를 이용하여 상기 특징 정보에 대응하는 해시값을 생성하는 단계;
    (c) 상기 동영상 컨텐츠 선택 장치가, 상기 복수의 동영상 컨텐츠 각각의 상기 해시값 및 상기 메타데이터를 적어도 포함하도록 데이터베이스를 관리하는 단계;
    (d) 상기 사용자 단말기가, 실제 환경의 영상을 획득하는 단계;
    (e) 상기 사용자 단말기가, 상기 실제 환경의 상기 영상으로부터 상기 실제 환경의 객체에 대응하는 객체 정보를 추출하는 단계;
    (f) 상기 사용자 단말기가, 상기 객체 정보를 상기 동영상 컨텐츠 선택 장치로 전송하는 단계;
    (g) 상기 동영상 컨텐츠 선택 장치가, 상기 객체 정보를 수신하는 단계;
    (h) 상기 동영상 컨텐츠 선택 장치가, 상기 객체 정보를 기초로 상기 데이터베이스를 검색하여, 상기 복수의 동영상 컨텐츠 중에서 상기 객체 정보에 대응되는 동영상 컨텐츠를 선택하는 단계;
    (i) 상기 동영상 컨텐츠 선택 장치가, 상기 선택된 동영상 컨텐츠의 상기 메타데이터를 상기 사용자 단말기로 전송하는 단계;
    (j) 상기 사용자 단말기가, 상기 동영상 컨텐츠 선택 장치로부터 상기 선택된 동영상 컨텐츠의 상기 메타데이터를 수신하는 단계;
    (k) 상기 사용자 단말기가, 상기 실제 환경의 상기 객체 상에 상기 선택된 동영상 컨텐츠의 상기 메타데이터의 적어도 일부가 중첩되도록 상기 선택된 동영상 컨텐츠의 상기 메타데이터의 적어도 일부를 표시하는 단계; 및
    (l) 상기 사용자 단말기가, 사용자 입력을 기초로 상기 선택된 동영상 컨텐츠를 재생하는 단계
    를 포함하고,
    상기 복수의 동영상 컨텐츠 각각의 상기 특징 정보는, 키 프레임 또는 대표 이미지 내의 객체의 이미지를, 강체 변환, 유사 변환, 선형 변환, 아핀 변환, 투영 변환, 조명에 기초한 변환 및 잡음에 기초한 변환 중 적어도 하나를 포함하는 미리 지정된 변환 방식을 이용하여 변환한 이미지를 포함하는 것인, 증강 현실을 위한 동영상 컨텐츠 제공 방법.
  17. 제16항에 있어서,
    상기 사용자 단말기는 스마트 글래스를 포함하는 것인 증강 현실을 위한 동영상 컨텐츠 제공 방법.
  18. 삭제
  19. 삭제
  20. 삭제
KR1020210107037A 2021-08-13 2021-08-13 증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법 KR102594976B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210107037A KR102594976B1 (ko) 2021-08-13 2021-08-13 증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법
US17/884,373 US20230051112A1 (en) 2021-08-13 2022-08-09 Apparatus of selecting video content for augmented reality, user terminal and method of providing video content for augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210107037A KR102594976B1 (ko) 2021-08-13 2021-08-13 증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법

Publications (2)

Publication Number Publication Date
KR20230025051A KR20230025051A (ko) 2023-02-21
KR102594976B1 true KR102594976B1 (ko) 2023-10-26

Family

ID=85177765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210107037A KR102594976B1 (ko) 2021-08-13 2021-08-13 증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법

Country Status (2)

Country Link
US (1) US20230051112A1 (ko)
KR (1) KR102594976B1 (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101329102B1 (ko) * 2012-02-28 2013-11-14 주식회사 케이쓰리아이 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
US9175975B2 (en) * 2012-07-30 2015-11-03 RaayonNova LLC Systems and methods for navigation
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
KR20150093536A (ko) 2014-02-07 2015-08-18 엘지전자 주식회사 이동 단말기 및 그의 증강현실 제공 방법
KR20150131577A (ko) * 2014-05-15 2015-11-25 엘지전자 주식회사 글래스 타입 단말기
US20170084082A1 (en) * 2015-09-17 2017-03-23 HuntAR Corporation Systems and methods for providing an augmented reality experience
US10403044B2 (en) * 2016-07-26 2019-09-03 tagSpace Pty Ltd Telelocation: location sharing for users in augmented and virtual reality environments
KR101873793B1 (ko) * 2017-07-26 2018-07-04 삼성전자주식회사 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법
KR102376767B1 (ko) 2018-12-20 2022-03-21 한국전자기술연구원 마커리스 방식의 증강현실 제공장치

Also Published As

Publication number Publication date
KR20230025051A (ko) 2023-02-21
US20230051112A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
US10742340B2 (en) System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
CN104602128A (zh) 视频处理方法和视频处理装置
TWI443535B (zh) 視訊搜尋方法、系統及建立視訊資料庫的方法
JP5395920B2 (ja) 検索装置、検索方法、検索プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体
JP2008257460A (ja) 情報処理装置、情報処理方法、およびプログラム
US20170242554A1 (en) Method and apparatus for providing summary information of a video
US20140223319A1 (en) System, apparatus and method for providing content based on visual search
US10650814B2 (en) Interactive question-answering apparatus and method thereof
WO2022028177A1 (zh) 信息推送、视频处理方法和设备
GB2548316A (en) Methods and systems for identifying an object in a video image
US20130191323A1 (en) System and method for identifying the context of multimedia content elements displayed in a web-page
CN110825928A (zh) 搜索方法和设备
TWI748266B (zh) 搜索方法、電子裝置及非暫時性電腦可讀記錄媒體
WO2022193911A1 (zh) 指令信息获取方法及装置、可读存储介质、电子设备
WO2022068569A1 (zh) 水印检测方法、装置、计算机设备及存储介质
US9977793B2 (en) Information processing system, information processing method, and information processing apparatus
KR20150087034A (ko) 객체-콘텐츠 부가정보 상관관계를 이용한 객체 인식장치 및 그 방법
KR102594976B1 (ko) 증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법
JP2011165092A (ja) 文書画像関連情報提供装置、及び文書画像関連情報取得システム
JP5946315B2 (ja) 画像検索システム
TW202004524A (zh) 搜索方法、電子裝置及非暫時性電腦可讀記錄媒體
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity
KR100509922B1 (ko) 3차원 몸동작을 이용한 모션 데이터베이스 검색방법
US11979645B1 (en) Dynamic code integration within network-delivered media

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant