KR20130000160A - 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법 - Google Patents

사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법 Download PDF

Info

Publication number
KR20130000160A
KR20130000160A KR1020110060691A KR20110060691A KR20130000160A KR 20130000160 A KR20130000160 A KR 20130000160A KR 1020110060691 A KR1020110060691 A KR 1020110060691A KR 20110060691 A KR20110060691 A KR 20110060691A KR 20130000160 A KR20130000160 A KR 20130000160A
Authority
KR
South Korea
Prior art keywords
user
information
context
content
augmented reality
Prior art date
Application number
KR1020110060691A
Other languages
English (en)
Inventor
우운택
오세진
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020110060691A priority Critical patent/KR20130000160A/ko
Priority to US13/529,521 priority patent/US20120327119A1/en
Publication of KR20130000160A publication Critical patent/KR20130000160A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0457—Improvement of perceived resolution by subpixel rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Abstract

본 명세서에 개시된 발명은 사용자 적응형 증강현실(AR: Augmented Reality) 이동통신 장치와 서버 및 그 방법에 관한 것으로서, 더욱 상세하게는 맥락 인식(conetext-aware)을 통한 사용자 프로파일링과 콘텐츠 필터링을 이용한 증강현실 이동통신 장치와 서버 및 그 방법과 그 시스템에 관한 것이다. 본 명세서에 개시된 일 실시예에 따른 사용자 적응형 증강현실 기반의 이동통신 장치는 센서정보를 입력받아 이동통신 장치의 사용자에 대한 사용자 맥락을 유추하는 맥락 유추부, 사용자 맥락에 대한 정보를 서버로 전송하는 전송부, 사용자 맥락에 대한 정보에 따른 사용자 프로파일 정보와 사용자 선호도 정보를 이용하여 생성한 개인화 콘텐츠를 서버로부터 수신하는 수신부 및 수신된 개인화 콘텐츠를 카메라로 촬영된 영상에 증강시키는 증강현실 콘텐츠 렌더러를 포함한다.

Description

사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법 {User adaptive augmented reality mobile device and server and method thereof}
본 명세서에 개시된 발명은 증강현실(AR: Augmented Reality) 이동통신 장치와 서버 및 그 방법에 관한 것으로서, 더욱 상세하게는 맥락 인식(conetext-aware)을 통한 사용자 프로파일링과 콘텐츠 필터링을 이용한 증강현실 이동통신 장치(Mobile device)와 서버(Server) 및 그 방법과 그 시스템에 관한 것이다.
증강현실(Augmented Reality)이란 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 실세계 영상과 가상의 영상을 혼합한 것을 의미하는 것으로서, 일반적으로 가상 환경 및 가상 현실에서 파생된 용어이다. 실세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할 수도 있다. 즉, 증강현실 시스템은 실세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다.
모바일 기기와 같은 이동통신 장치의 발전과 급속한 보급에 따라 사용자가 일상생활에서 경험할 수 있는 다양한 형태의 모바일 서비스가 개발되고 있다. 이와 더불어 사용자로 하여금 모바일 기기를 통해 컴퓨터가 생성해 내는 콘텐츠를 물리적 공간에서 경험할 수 있도록 하는 모바일 증강 현실 시스템에 대한 연구가 활발하게 진행되고 있다. 이들 대부분은 물리적 객체(object)에 연관된 정보를 실재감 있게 증강(augment)하는데 초점을 두고 있다. 그러나 이는 사용자의 맥락(context)에 대한 고려 없이 획일적인 콘텐츠를 제공함으로써 간혹 사용자에게 불필요한 정보를 제공하는 경우가 발생한다.
이를 보완하기 위하여 모바일 맥락 인식 기술을 증강 현실 기술과 접목하여 사용자의 맥락에 적합한 증강 콘텐츠를 제공하는 연구가 진행되고 있다. 이들은 사용자의 위치 등 사용자의 상황에 따라 사용자에게 제공되는 정보를 선별하고 이를 물리적 공간에 증강시키는 모바일 증강현실 시스템을 개발하였다. 그러나 동일한 상황이라 하더라도 콘텐츠에 대한 사용자의 선호도가 다를 수 있음에도 불구하고, 현재 개발된 시스템에서는 해당 상황에 연관된 사용자의 선호도를 반영하여 개인화된 형태로 제공하는 부분에 대한 고려가 미비한 실정이다.
본 명세서에 개시된 실시예는 전술한 문제점을 해결하기 위한 것으로서, 증강현실을 제공함에 있어 상황에 연관된 사용자의 선호도를 반영하여 개인화된 형태로 증강현실 콘텐츠를 제공할 수 있는 장치와 방법 및 그 시스템을 제공한다.
본 명세서에 개시된 일 실시예에 따른 증강현실 기반의 이동통신 장치는 센서정보를 입력받아 이동통신 장치의 사용자에 대한 사용자 맥락을 유추하는 맥락 유추부, 사용자 맥락에 대한 정보를 서버로 전송하는 전송부, 사용자 맥락에 대한 정보에 따른 사용자 프로파일 정보와 사용자 선호도 정보를 이용하여 생성한 개인화 콘텐츠를 서버로부터 수신하는 수신부 및 수신된 개인화 콘텐츠를 카메라로 촬영된 영상에 증강시키는 증강현실 콘텐츠 렌더러를 포함한다.
본 명세서에 개시된 다른 실시예에 따른 증강현실 기반의 이동통신 장치에서의 증강현실 구현 방법은 센서정보를 입력받아 이동통신 장치의 사용자에 대한 사용자 맥락을 유추하는 단계, 사용자 맥락에 대한 정보를 서버로 전송하는 단계, 사용자 맥락에 대한 정보에 따른 사용자 프로파일 정보와 사용자 선호도 정보를 이용하여 생성한 개인화 콘텐츠를 서버로부터 수신하는 단계 및 수신된 개인화 콘텐츠를 카메라로 촬영된 영상에 증강시키는 단계를 포함한다.
본 명세서에 개시된 또 다른 실시예에 따른 증강현실 기반의 서버는 센서정보를 이용하여 유추된 이동통신 장치 사용자의 사용자 맥락에 대한 정보를 이동통신 장치로부터 전송받는 수신부, 사용자 맥락에 대한 정보에 따라 사용자 프로파일 정보를 생성하는 사용자 프로파일 매니저, 사용자 맥락에 대한 정보와 사용자 프로파일 정보에 기초하여 사용자 맥락에 따른 사용자의 선호도를 유추하고 필터링하여 개인화 콘텐츠를 생성하는 개인화 콘텐츠 생성부 및 개인화 콘텐츠를 이동통신 장치로 전송하는 전송부를 포함한다.
본 명세서에 개시된 또 다른 실시예에 따른 증강현실 기반의 서버 장치에서의 증강현실 구현 방법은 센서정보를 이용하여 유추된 이동통신 장치 사용자의 사용자 맥락에 대한 정보를 이동통신 장치로부터 전송받는 단계, 사용자 맥락에 대한 정보에 따라 사용자 프로파일 정보를 생성하는 단계, 사용자 맥락에 대한 정보와 사용자 프로파일 정보에 기초하여 사용자 맥락에 따른 사용자의 선호도를 유추하고 필터링하여 개인화 콘텐츠를 생성하는 단계 및 개인화 콘텐츠를 이동통신 장치로 전송하는 단계를 포함한다.
본 명세서에서 개시된 실시예에 의하면, 증강현실을 제공함에 있어 사용자의 상황 또는 맥락에 연관된 사용자의 선호도를 반영하여 개인화된 형태로 증강현실 콘텐츠를 제공할 수 있다.
도 1은 증강현실 시스템에 대한 일 실시예를 설명하기 위한 도면이다.
도 2는 도 1에 도시한 증강현실 시스템에 대한 일 실시예를 상세히 설명하기 위한 도면이다.
도 3은 센서로 인식된 맥락의 표현 정보를 예시적으로 설명하기 위한 도면이다.
도 4는 센서로부터 획득된 정보, 객체에 대한 시각적 정보 또는 사용자의 피드백 정보를 이용하여 사용자의 맥락을 4W1H로 표현하고, 이를 통합함으로써 5W1H의 사용자 맥락 표현을 완성하는 과정을 설명하기 위한 도면이다.
도 5는 도 4를 구체적인 예를 들어 설명하기 위한 도면이다.
도 6은 사용자의 위치, 시각적 객체, 시간 등에 기초하여 사용자의 의도를 유추하는 규칙의 예에 대한 프로그램을 표현한 것이다.
도 7은 사용자 프로파일 매니저의 구성을 보다 구체적으로 표현한 실시예에 대한 도면이다.
도 8은 사용자의 맥락과 선호도에 따른 콘텐츠 증강을 설명하기 위한 도면이다.
도 9는 맥락에 따른 사용자의 콘텐츠 선호도를 유추하기 위한 알고리즘의 일 예롤 표현한 것이다.
도 10은 사용자 프로파일 매니저에서 피드백 값을 조정하는 과정을 설명하기 위한 도면이다.
도 11은 개인화 콘텐츠 생성부의 선호도 유추부에서 사용자 프로파일에 기초하여 콘텐츠 선호도를 유추하는 과정을 설명하기 위한 도면이다.
도 12는 실제 구현된 증강현실의 예를 설명하기 위한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
본 명세서에서는 이동통신 장치를 통해 사용자의 맥락(상황)에 적합한 정보를 사용자가 선호하는 형태로 증강시키는 사용자 적응형 증강 현실 시스템을 개시한다. 이동통신 장치는 입력된 센서정보를 이용하여 사용자의 맥락을 인식하고 맥락 히스토리(history)를 기반으로 해당 맥락에 대한 사용자의 의도(intention)를 파악한다. 또한, 이동통신 장치를 통한 사용자의 상호작용(콘텐츠 선택, 콘텐츠를소비하는 시간 등)에 대한 히스토리를 이용하여 사용자 프로파일(profile)을 지속적으로 학습하고 해당 맥락에 대한 사용자의 콘텐츠 선호도(preference)를 실시간으로 유추(reasoning)한다. 이에 따라 해당 맥락 및 선호도에 적합한 콘텐츠를 선별하고 이를 물리적 공간에 적절한 형태로 증강시킨다.
이러한 증강현실 시스템에 의하면, 다양한 센서(이동통신 장치에 내장된 센서 혹은 환경에 분산된 센서들)로부터 생성된 정보를 통합 및 해석하고 맥락 지식베이스(context knowledge base)에 정의된 규칙(rule)을 기반으로 해당 맥락에 대한 사용자의 의도를 실시간으로 추론(inference)한다. 즉, 사용자의 맥락에 대한 유추의 정확성을 높이기 위해 이동통신 장치에 내장된 센서 혹은 환경에 분산된 센서들로부터 생성된 정보를 이용한다. 또한, 맥락에 따라 제공되는 콘텐츠에 대한 사용자의 피드백(feedback: 클릭 기반의 선택, 소요시간 등과 같은 로그 정보 등)을 지속적으로 학습하고 이를 기반으로 현재 맥락에 대한 사용자의 최근 콘텐츠 선호도(선호하는 정보의 키워드, 표현 형태)를 실시간으로 유추한다. 여기서, 사용자의 피드백은 명시적인(explicit) 피드백과 암시적(implicit) 피드백을 포함할 수 있으며, 전술한 설명에서 클릭 기반의 선택은 명시적인 피드백에 속하고, 소요시간 등은 사용자의 행위에 대한 로그정보 등을 포함하는 것으로서 암시적인 피드백에 속하는 것일 수 있다. 나아가 사용자의 맥락 및 선호도에 적합한 콘텐츠를 선별하고 연관된 객체의 존재 여부에 따라 적응적으로 표현 형태를 결정한다. 예를 들어, 이동통신 장치의 스크린상에 연관된 객체가 존재하면 증강시키고, 연관된 객체가 존재하지 않을 경우에는 이동통신 장치의 화면상에 직접 디스플레이한다. 이렇게 함으로써, 증강 콘텐츠에 대한 사용자의 만족도를 높일 수 있다.
도 1은 증강현실 시스템에 대한 일 실시예를 설명하기 위한 도면이다.
도 1을 참조하면, 본 시스템은 크게 이동통신 장치(110)와 서버(120)로 구성된다. 이동통신 장치(110)는 맥락 인식(content awareness)을 위한 맥락 유추부(context reasoner: 111) 및 콘텐츠의 증강(augmentation)을 위한 증강현실 콘텐츠 렌더러(AR content render: 113)를 포함한다. 서버(120)는 맥락 인식 사용자 프로파일링을 위한 사용자 프로파일 매니저(user profile manager: 121) 및 콘텐츠의 커스터마이제이션(customization)을 위한 개인화 콘텐츠 생성부(personalized content generator: 123))를 포함한다.
본 시스템은 모바일 기기에 내장된 센서 혹은 환경에 분산된 센서들로부터 생성된 정보를 이용하여 사용자의 맥락에 대한 유추의 정확성을 높인다. 그리고 맥락에 따라 제공되는 콘텐츠에 대한 사용자의 피드백(클릭 기반의 선택, 소요 시간)을 지속적으로 학습하고 이를 기반으로 현재 맥락에 대한 사용자의 최근 콘텐츠 선호도(선호하는 정보의 키워드, 표현 형태)를 유추해 낸다. 그리고 사용자의 맥락 및 선호도에 적합한 콘텐츠를 선별하고 연관된 객체의 존재 여부에 따라 적응적으로 표현 형태를 결정(연관된 객체가 존재하면 증강시키나 존재하지 않을 경우에는 화면 상에 직접 디스플레이)하여 제공한다.
본 시스템은 다음과 같은 세가지 특징이 있다. 첫째, 다양한 실제 센서로부터 생성된 정보를 통합 및 해석하여 사용자의 맥락에 대한 정확성을 향상시킨다. 둘째, 콘텐츠에 대한 사용자의 피드백을 맥락 정보와 함께 지속적으로 학습함으로써 사용자의 맥락에 따라 변화하는 콘텐츠 선호도의 유추가 가능해진다. 세째, 선별된 콘텐츠에 대한 표현 형태를 사용자의 상황에 따라 적절하게 변화시킬 수 있도록 한다.
증강현실 기반의 이동통신 장치(110)는 센서정보를 입력받아 이동통신 장치(110)의 사용자에 대한 사용자 맥락을 유추하는 맥락 유추부(111), 사용자 맥락에 대한 정보를 서버로 전송하는 전송부(미도시), 사용자 맥락에 대한 정보에 따른 사용자 프로파일 정보와 사용자 선호도 정보를 이용하여 생성한 개인화 콘텐츠를 서버(120)로부터 수신하는 수신부(미도시) 및 수신된 개인화 콘텐츠를 카메라로 촬영된 영상에 증강시키는 증강현실 콘텐츠 렌더러(113)를 포함한다. 센서정보는 이동통신 장치(110) 또는 사용자의 환경에 분산된 센서로부터 센싱된 정보를 포함할 수 있다. 또한, 센서정보는 이동통신 장치(110)에 대한 사용자의 입력정보 또는 카메라를 통해 입력된 영상에 대한 정보를 포함할 수 있다.
맥락 유추부(111)는 센서정보를 수집하여 기 설정된 기준에 따라 분류하는 맥락 수집부 및 수집된 정보에 기초하여 상용자 맥락을 추론하는 맥락 추론부를 포함할 수 있고, 증강현실 콘텐츠 렌더러(113)는 카메라로 촬영된 영상의 객체를 인식하여 추적하는 영상추적부 및 개인화 콘텐츠를 객체에 따라 렌더링하는 콘텐츠 렌더링부를 포함할 수 있다. 여기서, 콘텐츠 렌더링부는 사용자 프로파일 정보와 사용자 선호도 정보에 기초한 정보 타입과 프리젠테이션 포맷으로 개인화 콘텐츠를 렌더링할 수 있다.
증강현실 기반의 이동통신 장치에서의 증강현실 구현 방법은 센서정보를 입력받아 이동통신 장치의 사용자에 대한 사용자 맥락을 유추하는 단계, 사용자 맥락에 대한 정보를 서버로 전송하는 단계, 사용자 맥락에 대한 정보에 따른 사용자 프로파일 정보와 사용자 선호도 정보를 이용하여 생성한 개인화 콘텐츠를 서버로부터 수신하는 단계 및 수신된 개인화 콘텐츠를 카메라로 촬영된 영상에 증강시키는 단계를 포함한다.
증강현실 기반의 서버(120)는 센서정보를 이용하여 유추된 이동통신 장치 사용자의 사용자 맥락에 대한 정보를 상기 이동통신 장치(110)로부터 전송받는 수신부(미도시), 사용자 맥락에 대한 정보에 따라 사용자 프로파일 정보를 생성하는 사용자 프로파일 매니저(121), 사용자 맥락에 대한 정보와 사용자 프로파일 정보에 기초하여 사용자 맥락에 따른 사용자의 선호도를 유추하고 필터링하여 개인화 콘텐츠를 생성하는 개인화 콘텐츠 생성부(123) 및 개인화 콘텐츠를 이동통신 장치로 전송하는 전송부(미도시)를 포함한다. 여기서, 센서정보는 이동통신 장치(110) 또는 사용자의 환경에 분산된 센서로부터 센싱된 정보를 포함할 수 있다. 또한 센서정보는 이동통신 장치(110)에 대한 사용자의 입력정보 또는 카메라를 통해 입력된 영상에 대한 정보를 포함할 수 있다. 사용자의 입력정보는 이동통신 장치(110)에 대한 사용자의 명시적인 입력정보 및 이동통신 장치(110)에 대한 사용자의 로그정보를 포함할 수 있다.
사용자 프로파일 매니저(121)는 명시적 입력정보에 기초하여 사용자의 명시적 프로파일을 생성하는 명시적 프로파일 생성부, 사용자의 로그정보에 기초하여 사용자의 암시적 프로파일을 생성하는 암시적 프로파일 생성부 및 명시적 프로파일과 암시적 프로파일에 기초하여 사용자의 프로파일을 학습하고 업데이트하는 사용자 프로파일 학습부를 포함할 수 있다.
개인화 콘텐츠 생성부(123)는 사용자 맥락에 대한 정보 및 사용자 프로파일 정보에 기초하여 맥락에 따른 사용자의 콘텐츠 선호도에 대해 유추하는 콘텐츠 선호도 유추부 및기 콘텐츠 선호도에 대한 유사도에 따라 콘텐츠 데이터베이스의 콘텐츠를 평가하고 필터링하는 콘텐츠 필터링부를 포함할 수 있다. 여기서, 콘텐츠 필터링부는 사용자 프로파일 정보와 사용자 선호도 정보에 기초한 정보 타입과 프리젠테이션 포맷에 기초하여 콘텐츠를 평가하고 필터링할 수 있다.
증강현실 기반의 서버 장치에서의 증강현실 구현 방법은 센서정보를 이용하여 유추된 이동통신 장치 사용자의 사용자 맥락에 대한 정보를 이동통신 장치로부터전송받는 단계, 사용자 맥락에 대한 정보에 따라 사용자 프로파일 정보를 생성하는 단계, 사용자 맥락에 대한 정보와 사용자 프로파일 정보에 기초하여 사용자 맥락에 따른 사용자의 선호도를 유추하고 필터링하여 개인화 콘텐츠를 생성하는 단계 및 개인화 콘텐츠를 이동통신 장치로 전송하는 단계를 포함한다.
<구체적인 실시예 >
이하에서는 본 명세서에 개시된 증강현실 시스템에 대한 구체적인 실시예를 도면과 함께 설명한다.
증강현실 시스템은 이동통신 장치와 서버로 구성되어 있으며, 사용자의 맥락을 자동으로 감지하고, 주어진 맥락에서 콘텐츠에 대한 사용자의 최근 선호도(up-to-date preference)를 유추하며, 이에 따라 콘텐츠를 사용자에게 적응적으로 제공한다.
도 2는 도 1에 도시한 증강현실 시스템에 대한 일 실시예를 상세히 설명하기 위한 도면이다. 도 2를 참조하여 전체적인 시스템의 동작을 먼저 설명한다.
이동통신 장치(210)의 맥락 유추부(220)에서는 맥락 지식 베이스(context knowledge base(KB): 223)에 기초하여 이동통신 장치(210)의 센서 및/또는 환경에 분산된 센서로부터 상황에 대한 정보를 수집하고 해석함으로써 사용자의 맥락에 대한 표현(description) 정보를 생성한다. 서버(250)의 사용자 프로파일 매니저(260)는 맥락에 대한 표현 정보과 함께 이동통신 장치(210)로부터 수집된 사용자의 피드백 정보를 이용하여 명시적(explicit) 프로파일링 및 암시적(implicit) 프로파일링을 수행함으로써 사용자의 프로파일을 계속적으로 업데이트한다. 서버(250)의 개인화 콘텐츠 생성부(250)는 사용자 프로파일로부터 주어진 맥락에서 사용자가 선호하는 정보의 타입(type)과 프레젠테이션 포맷(presentation format)을 적응적으로 유추하고 선호도에 따라 콘텐츠 아이템을 평가하며, 적절한 프레젠테이션 폼을 결정한다. 이동통신 장치(210)의 증강현실 콘텐츠 렌더러(230)는 선택된 콘텐츠를 카메라를 통해 획득된 이미지의 관련 객체와 함께 사용자에게 전달한다.
이하에서는 시스템의 구성의 구체적인 동작에 대해 설명한다.
1. 이동통신 장치에서의 맥락인식
맥락을 인식하기 위해서는 맥락을 인식할 수 있도록 하기 위한 정보의 획득이 필요하다. 본 실시예에서는 센서를 이용하여 사용자의 맥락과 관련된 변화를 감지하고, 맥락 유추부(220)는 감지된 정보를 이용하여 사용자의 맥락을 표현하는 표현 정보로 변환시킨다. 맥락 유추부(220)는 센서 정보를 수집하여 분류하는 맥락수집부(context aggregation: 221)와 수집된 정보에 기초하여 맥락을 추론하는 맥락추론부(context inference: 222)를 포함할 수 있다. 맥락추론부(222)는 다양한 맥락 정보를 저장하고 있는 맥락 지식 베이스(223)를 참조하여 맥락을 추론할 수 있다.
센서는 이동통신 장치(210)에 구비되거나, 사용자의 주변 환경에 분산된 센서일 수 있으며, 센서정보는 이동통신 장치로부터의 터치센서정보와 이동통신 장치에 구비된 센서 또는 환경에 분산된 센서로부터의 환경센서정보를 포함할 수 있다. 본 실시예에서는 맥락과 관련된 변화를 표현하기 위한 방법으로서 5W1H(who, what, where, when, why, how)의 표현방식의 기준을 예로 든다. 각각의 요소는 속성(attribute)과 값(value)으로 표현될 수 있다.
센서로는 물리적(physical) 또는 가상(virtual) 센서를 모두 포함할 수 있다.
물리적 센서의 경우, 예를 들어 카메라를 통해 책을 보는 경우 현재 사용자의 맥락은 독서 또는 공부를 하는 것으로 센싱하게 된다. 이 경우, 맥락 수집부(221)는 증강현실 콘텐츠 렌더러(230)의 객체를 인식하는 객체 인식부(231)로부터 객체에 대한 정보를 전달받을 수 있다. 또한, 이동통신 장치(210)에 구비된 움직임 센서 또는 사용자 주변에 대한 빛 감지, 위치 감지 센서를 이용하여 현재 사용자의 맥락을 센싱할 수 있다.
가상 센서는 콘텐츠 뷰어(viewer)에서의 선택 인식(selection recognition)을 센싱하는 것과 같이, 이동통신 장치에서 특정 어플리케이션을 사용하는 사용자의 맥락의 변화를 센싱할 수 있다. 예를 들어, 사용자가 콘텐츠 뷰어를 이용하여 콘텐츠 리스트를 살펴보면서 특정 콘텐츠를 선택하는 경우, 선택 인식 센서는 사용자가 콘텐츠 뷰어를 통해 특정 콘텐츠를 선택하였음을 지시하는 맥락 표현 정보를 생성한다.
도 3은 센서로 인식된 맥락의 표현 정보를 예시적으로 설명하기 위한 도면이다. 도 3(a)는 가상 센서의 하나로서, 특정 콘텐츠를 선택하는 것에 대한 5W1H 표현 정보를 나타내는 것이고, 3(b)는 물리적 센서의 하나로서, 카메라로 촬영한 이미지에서 책을 인식한 것에 대한 5W1H 표현 정보를 나타내는 것이다.
본 실시예에 따른 증강현실 시스템은 센서로부터 상황에 대한 정보를 획득하고 분석하여 사용자의 맥락을 자동으로 인식한다. 사용자의 맥락을 인식하기 위해 필요한 정보에는 센서로부터 획득된 정보 외에도 객체에 대한 시각적 정보(카메라로부터의 영상에 대한 정보) 또는 사용자의 피드백 정보 등이 더 포함될 수 있으며, 이러한 다양한 정보가 맥락을 표현하기 위해 5W1H의 표현방식으로 분류된다. 다만, 본 실시예에서는 설명의 편의를 위해 5W1H 중 'why'를 제외한 4W1H의 표현방식으로 사용자의 맥락을 인식하기 위한 정보를 획득한다. 이 경우, 4W1H의 표현방식으로 수집된 정보는 사용자의 의도를 표현하는 'why'를 유추하는 것에 사용될 수 있다.
도 4는 센서로부터 획득된 정보, 객체에 대한 시각적 정보 또는 사용자의 피드백 정보를 이용하여 사용자의 맥락을 4W1H로 표현하고, 이를 통합함으로써 5W1H의 사용자 맥락 표현을 완성하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 맥락유추부(400)의 맥락 취합부(acquisition: 401)는 객체인식부로부터의 객체에 대한 식별정보, 사용자 피드백 정보, 상황 정보(situational information) 등을 입력받는다. 맥락 취합부(401)에서 획득한 상황 정보의 세트는 맥락 분류부(classification: 402)에서 분류되고, 맥락 수집부(aggregation: 403)에서 4W1H로 나누어 수집한다. 수집된 4W1H 정보는 맥락 추론부(inference: 404)에서 'why'요소를 추론하고, 맥락 생성부(406)은 수집된 4W1H 정보와 추론된 'why'요소 정보를 취합하여 5W1H 정보를 생성한다. 이때 맥락추론부(404)는 맥락 지식베이스(405)를 참조할 수 있다.
도 5는 도 4를 구체적인 예를 들어 설명하기 위한 도면이다.
도 5를 참조하면, 카메라, 위치추적센서 및 터치센서로부터의 4W1H 정보(501, 502, 503)를 취합(504)하고, 이를 4W1H에 따라 수집(505)하며, 이에 따라 맥락을 추론(506)함으로써 'why'요소로서의 사용자의 의도(intention)인 'study'를 추론하게 된다.
본 실시예에서 사용자의 의도를 유추하기 위한 방법으로서 상황-결과 규칙(situation-result rule)의 세트를 이용할 수 있다. 각각의 규칙은 맥락적인 인자(contextual factor)와 기대되는 의도 사이의 관계를 표현하는 if-then 절로 표현되어 구성될 수 있다. 도 6은 사용자의 위치, 시각적 객체, 시간 등에 기초하여 사용자의 의도를 유추하는 규칙의 예에 대한 프로그램을 표현한 것이다.
이렇게 유추된 결과를 통합된 정보와 결합함으로써 4W1H에 'why' 요소인 사용자의 의도가 추가되고, 최종적으로 5W1H에 따른 현재의 맥락에 대한 표현 정보가 생성된다.
2. 맥락 인식 사용자 프로파일링
본 실시예에서의 증강현실 시스템은 콘텐츠 커스터마이제이션을 위해 사용자의 선호도를 이해하기 위해 맥락에 따라 사용자가 선호하는 콘텐츠를 표현하는 사용자 프로파일을 계속 업데이트한다. 맥락 유추부(220)로부터 전달된 맥락정보(위 예에서는 5W1H 표현 정보가 이에 해당함)에는 특정 상황에서의 콘텐츠에 대한 사용자의 피드백 정보를 포함할 수 있으며, 피드백 정보는 사용자 프로파일 매니저(260)에 입력된다.
사용자 프로파일 매니저(260)는 피드백 정보에서 명시적 피드백 입력으로부터 사용자 프로파일링을 수행하는 명시적 프로파일링부(explicit profiling: 261), 피드백 정보에서 암시적 피드백 입력으로부터 사용자 프로파일링을 수행하는 암시적 프로파일링부(implicit profiling: 262) 및 명시적 프로파일링부(261)와 암시적 프로파일링부(262)로부터의 명시적/암시적 피드백을 이용하여 사용자 프로파일을 학습하고 업데이트하는 사용자 프로파일 학습부(user profile learning: 263)를 포함할 수 있다.
피드백 정보에는 사용자가 특정 대상을 클릭하여 선택하는 것과 같은 명백한(explicit) 피드백 정보는 물론, 증강현실 시스템에서의 사용자 행동을 추론할 수 있도록 사용자의 시스템상에서의 행동에 대한 로그 정보와 같이 암시적(implicit) 피드백 정보를 포함할 수 있다. 이러한 로그 정보는 사용자의 콘텐츠에 대한 평가를 암시적으로 전달하는 정보로서 이용할 수 있다. 예를 들어, 사용자가 이동통신 장치(210)를 통해 특정 콘텐츠를 장기간 소비하거나, 반복적으로 소비하는 경우 해당 콘텐츠에 대한 사용자의 선호도는 높은 것으로 평가할 수 있다.
본 실시예에서의 증강현실 시스템은 각 사용자가 맥락에 따라 주어진 콘텐츠에 대한 평가가 서로 다를 수 있기 때문에 이러한 피드백 정보와 맥락적 인자(contextual factor) 사이의 관계를 평가한다. 즉, 사용자 프로파일은 맥락 표현 정보와 함께 선호하는 특징(preference feature) 정보와 그 가중치(weight)에 대한 정보를 포함할 수 있다. 선호하는 특징 정보는 소리 정보, 텍스트 정보 등과 같이 사용자가 선호하는 정보의 표현방식인 선호정보타입(preference information type)과 프리젠테이션 포맷(presentation format)에 대한 정보를 포함할 수 있다.
사용자 프로파일 매니저(260)는 명시적인 사용자의 행동에 대한 사용자 프로파일을 업데이트한다. 이러한 명시적인 사용자의 행동에 의한 프로파일링을 명시적 프로파일링이라 하며, 이는 이동통신 장치의 스크린에 표현된 아이콘 등을 터치하거나, 클릭하는 것과 같은 명시적인 사용자 행동에 따른 피드백 정보를 이용하여 사용자 프로파일을 학습하고 업데이트한다. 이는 해당 아이콘을 선택하거나,무시하거나, 삭제하거나 또는 소정의 시간이 지남에 따라 자동으로 선택되도록 하는 등의 각 상황에 따라 사용자 행동에 대한 피드백 값을 달리하여 선호도에 대한 사용자 프로파일을 생성할 수 있다. 사용자는 제공된 콘텐츠를 무시하고, 추천되지 않은 다른 콘텐츠를 요청할 수도 있다. 사용자에 의해 선택된 콘텐츠는 사용자에게 적절한(사용자의 선호도가 있는) 콘텐츠로 해석될 수 있다. 특정 콘텐츠 Ci에 대해 주어진 맥락 COx에서의 사용자 선택에 기초한 콘텐츠에 대한 선호 특징에 대한 값(ΔEFCiCOx)은 아래 수학식 1의 규칙에 따라 조정될 수 있다. 사용자가 특정 콘텐츠 Ci를 선택하는 경우에는 +2α, (시간 경과 등의 이유로) 자동으로 특정 콘텐츠 Ci가 선택되는 경우에는 +α, 사용자가 특정 콘텐츠 Ci를 무시하는 경우에는 -α, 사용자가 특정 콘텐츠 Ci를 삭제하는 경우에는 -2α의 값으로 선호도 값을 결정하여 명시적인 프로파일 생성에 이용할 수 있다. 여기서, α는 피드백 값에 대한 스케일 인자로서 0보다 큰 값이다.
Figure pat00001
사용자 프로파일 매니저는 암시적인 사용자의 행동에 대한 사용자 프로파일을 업데이트할 수 있다. 이러한 암시적인 사용자의 행동에 의한 프로파일링을 암시적 프로파일링이라 하며, 사용자가 특정 콘텐츠를 소비하는 경우, 해당 콘텐츠를 소비하는 시간(기간) 또는 해당 콘텐츠를 소비하기 위한 로그 정보 등을 이용하여 사용자의 행동에 대한 사용자 프로파일을 업데이트한다. 이는 사용자의 직접적인 행위에 의해 사용자 프로파일을 생성하는 명시적 프로파일링과 구별되는 것으로서, 특정 콘텐츠를 선택하는 행위가 명시적 피드백 정보로서 명시적 프로파일링을 생성하는 것이라면, 선택된 콘텐츠를 얼마의 시간 동안 소비하는지에 대한 로그 정보는 암시적 피드백 정보로서 암시적 프로파일링을 생성하는 것이라 할 수 있다. 장시간 동안 콘텐츠를 소비하는 경우, 사용자의 선호도가 높은 것으로 판단할 수 있다. 특정 콘텐츠 Ci에 대해 주어진 맥락 COx에서의 사용자 선택에 기초한 콘텐츠에 대한 선호 인자에 대한 값(ΔIFCiCOx)은 아래 수학식 2의 규칙에 따라 계산될 수 있다.
Figure pat00002
여기서, Tv는 사용자의 실제 시청 시간이고, Td는 콘텐츠 Ci의 전체 상영 시간이다. 콘텐츠가 이미지 또는 텍스트인 경우에는 Tv와 Td를 동일한 값으로 설정할 수 있다.
이렇게 명시적인 피드백과 행동 로그와 같은 암시적인 피드백에 의해 주어진 맥락 COx에서 선택된 콘텐츠 Ci와 관계된 선호 인자를 위해 현재 시간에서의 전체 피드백을 평가할 수 있다. 이에 대한 수식은 수학식 3과 같다.
Figure pat00003
이에 따른 새로운 피드백 값은 수학식 4와 같다.
Figure pat00004
이러한 수학식의 계산에 의한 값이 높은 경우, 해당 콘텐츠와 관계된 선호도 인자가 해당 맥락에 적합한 것으로 사용자가 느끼고 있다는 것을 의미한다. 여기서, fCiCOx(t-1)은 동일한 맥락 COx에서 콘텐츠 Ci에 대한 이전의 피드백 값을 의미한다. 이전 데이터가 없는 경우에는 0으로 설정한다. σ는 학습 비율을 의미하는 것으로서, 얼마나 빨리 새로운 피드백으로 대체할 것인지를 결정하는 계수이다. ΔEFCiCOx는 수학식 1에 의한 명시적 프로파일링으로부터 계산된 값이고, ΔIFCiCOx는 수학식 2에 의한 암시적 프로파일링으로부터 계산된 값이다. We와 Wi는 명시적 피드백과 암시적 피드백의 상대적 중요성에 대한 가중치 인자이다.
이렇게 평가된 피드백 값에 기초하여 동일한 맥락에서 과거의 선호도 인자에 대한 사용자 프로파일을 지속적으로 업데이트한다.
도 7은 사용자 프로파일 매니저의 구성을 보다 구체적으로 표현한 실시예에 대한 도면이다.
도 7을 참조하면, 다른 구성은 도 2에서의 사용자 프로파일 매니저와 동일하나, 맥락 유추부(220)로부터의 5W1H로부터 피드백을 추출하는 피드백 추출부(feedback extraction: 701)과 피드백 추출부(701)에서 암시적 프로파일링을 수행하기 위해 사용자에 대한 로그정보를 추출하는 로그정보(behavior logging) 추출부(703)을 더 포함할 수 있다.
3. 개인화된 콘텐츠 증강
개인화 콘텐츠 생성부(270)는 현재의 맥락에서 사용자의 콘텐츠 선호도를 유추하고, 콘텐츠 데이터베이스(content database: 273)로부터 주어진 맥락에서 가능한 콘텐츠에 대한 메타데이터(metadata)를 추출한다. 증강현실 콘텐츠 렌더러(230)는 생성된 개인화 콘텐츠를 카메라 영상에서의 객체와 함께 증강시켜 디스플레이한다. 개인화 콘텐츠 생성부(270)와 증강현실 콘텐츠 렌더러(230)에 대해서는 도 8을 참조하여 설명한다.
도 8은 사용자의 맥락과 선호도에 따른 콘텐츠 증강을 설명하기 위한 도면이다.
도 8을 참조하면, 개인화 콘텐츠 생성부(270)는 사용자 프로파일 정보(812)와 맥락 표현 정보(5W1H)에 기초하여 콘텐츠 선호도를 유추하는 콘텐츠 선호도 유추부(content preference reasoning: 811), 콘텐츠 선호도를 유사도에 기반하여 평가하는 유사도 기반 콘텐츠 평가부(similarity-based content rating: 813) 및 유사도 기반 콘텐츠 평가부(813)의 결과에 따라 개인화 콘텐츠를 선택하기 위해 콘텐츠를 필터링하는 콘텐츠 필터링부(content filtering: 815)를 포함할 수 있다. 유사도 기반 콘텐츠 평가부(813)는 콘텐츠 데이터베이스(814)에 저장된 콘텐츠를 상호 비교하여 평가하게 된다.
증강현실 콘텐츠 렌더러(820)는 카메라 영상으로부터 객체를 인식하는 객체인식부(object recognition: 821), 인식된 객체를 추적하는 객체 추적부(object tracking: 822), 추적된 객체와 개인화 콘텐츠의 디스플레이를 위한 레이아웃 조정부(layout adjustment: 823) 및 조정된 레이아웃에 따라 콘텐츠를 렌더링하는 콘텐츠 렌더링부(content rendering: 824)를 포함할 수 있다.
사용자의 선호도에 따른 콘텐츠를 선택하기 위해 선호도와 추출된 콘텐츠 사이의 유사성(similarity)을 계산함으로써 콘텐츠 필터링을 수행한다. 이후, 높은 유사도를 갖는 콘텐츠 리스트를 생성하고, 현재의 맥락과 콘텐츠 사이의 공간적 관계(spatial relationship)에 따라 프리젠테이션 폼(presentation form)을 결정하며, 결정된 폼에 따라 이동통신 장치에 콘텐츠를 출력시킨다. 이러한 프리젠테이션 폼 또한 사용자의 선호도와 맥락에 기초하여 결정할 수 있다.
맥락에 따른 사용자의 콘텐츠 선호도를 유추하기 위해 서로 다른 맥락과 선호도 특징 사이의 유용한 연관성(useful association)을 확인할 수 있다. 이렇게 함으로써 불필요한 연관성을 제거하고, 기준값보다 높은 확실성을 갖는 연관성의 세트에 대한 콘텐츠 선호도 정보를 생성할 수 있다. 이에 대한 예시적인 알고리즘은 도 9에 도시하였다.
선호도 정보는 특징(feature)과 가중치의 2가지 요소로 구성된 벡터(vector)로 표현될 수 있다. 이를 선호도 벡터라 한다. 각 특징은 정보의 타입과 프리젠테이션 포멧의 조합으로 표현될 수 있고, 가중치는 해당 특징에 대한 사용자의 좋고, 싫음을 값으로 표현한다. 선호도가 서로 다른 특징을 가지고 있는 경우에는 각각의 벡터의 집합으로 표현할 수 있다. 한편, 현재 맥락에 가능한 콘텐츠에 대해서도 선호도 정보에서의 특징과 해당 특징에 대응하는 중요도 정보로 구성된 벡터로 표현할 수 있다. 이를 콘텐츠 벡터라 한다. 특징은 필터링된 콘텐츠에서 동일하게 중요한 것은 아니므로, 필드에 따라 상대적 중요도를 할당할 수 있다. 여기서 필드는 타입(type)과 펑션(function)의 세트로 정의(S=type, function)함으로써 정보 타입과 프리젠테이션 포맷으로 구성된 각 특징을 표현할 수 있다. 콘텐츠 선호도를 유추하기 위한 알고리즘의 일 예를 도 9에 표현하였다.
주어진 맥락에서 콘텐츠 선호도를 유추한 후, 맥락에서 가용한 콘텐츠와 선호도 사이의 유사성을 평가한다. 이를 위해 전술한 콘텐츠 벡터와 선호도 벡터 사이의 유사성을 결정한다. 이러한 유사성은 선호도 벡터와 콘텐츠 벡터 사이의 코사인 각도를 이용하여 측정할 수 있고, 측정된 값을 기 설정된 기준과 비교한다.
이러한 방식으로 결정된 콘텐츠는 유사성의 정도에 따라 순차적으로 디스플레이될 수 있고, 이동통신 장치의 스크린의 사이즈에 따라 스크롤바(scroll bar)가 생기지 않도록 표시양을 변경시킬 수 있다.
선택된 콘텐츠는 사용자의 맥락과의 공간적인 관련성에 따라 서로 다르게 시각화할 수 있다. 예를 들어, 사용자가 스크린에서 클릭을 함으로써 콘텐츠에 접근하는 경우, 해당 콘텐츠에 연관된 물리적 객체의 존재에 따라 적절한 프리젠테이션 방법을 결정한다. 즉, 사용자가 이동통신 장치를 이용하여 물리적 객체를 보고 객체와 관련된 콘텐츠를 선택할 때, 선택된 콘텐츠를 해당객체와 겹치게 디스플레이할 수 있다. 반대로, 선택된 콘텐츠에 연관된 물리적 객체가 없는 경우, 해당 콘텐츠를 이동통신 장치 스크린의 전면에 디스플레이할 수 있다. 따라서, 선택된 콘텐츠를 시각화하기 위해서는 어떤 물리적 객체가 카메라의 시야에 존재하는지를 알아야 한다. 이는 카메라에서 물리적 객체를 촬영하고, 객체에 대한 데이터베이스와 비교함으로서 객체를 인식하는 방법으로 구현이 가능하다. 다만, 본 실시예에서는 이러한 방법에서의 프로세스 시간을 줄이기 위해 현재 위치 등과 같은 사용자의 맥락을 이용하여 데이터베이스로부터 비교하는 대상을 줄일 수 있다. 카메라의 시야에 대한 정보는 사용자의 맥락을 판단하는 주요한 정보가 될 수 있으므로, 이에 대한 정보를 맥락 유추부(220)로 전송할 수 있다.
도 10은 사용자 프로파일 매니저(260)에서 피드백 값을 조정하는 과정을 설명하기 위한 도면으로서, α는 1이고, We는 0.7, Wi는 0.3인 경우를 예로 든 것으로서, 콘텐츠 리스트(content list: 1001)에서 사용자가 콘텐츠1(content 1)을 제거(1002)하고, 사용자가 120초 동안 콘텐츠2(content 2)를 선택하여 소비(1003)하는 경우에 대한 것이다.
도 11은 개인화 콘텐츠 생성부(270)의 선호도 유추부(271)에서 사용자 프로파일에 기초하여 콘텐츠 선호도를 유추하는 과정을 설명하기 위한 도면이다. 도 11을 참조하면, 먼저 사용자 프로파일(User profiles: 1101)로부터 연관성(association)을 찾고(1102), 템플릿에 매칭되는 연관성을 선택하며(1103), 군더더기의 연관성을 제거한 후(1104) 맥락적인 선호도로 변환시킨다(1105).
도 12는 실제 구현된 증강현실의 예를 설명하기 위한 도면이다. 도 12에서는 특정 책에 콘텐츠를 커스터마이제이션하는 것을 도시하였다. 도 12(a)에서는 유사도가 높은 콘텐츠의 세트를 스크린의 우측 상단에 디스플레이한 것을 도시한 것이고, 도 12(b)에서는 사용자가 이들 중 하나를 선택했을 때 책 위에 중첩되어 디스플레이되는 것을 도시한 것이다.
추천된 콘텐츠에 대해 사용자가 삭제하는 것이 있는 경우, 다른 추천 콘텐츠를 사용자에게 제시할 수 있으며, 이러한 사용자의 선택(여기서는, 삭제)에 따라 사용자 프로파일을 업데이트함으로써 사용자의 최근 선호도를 학습하고, 이를 반영한 콘텐츠를 사용자에게 제공한다.
전술한 증강현실 시스템 및 이를 구성하는 이동통신 장치와 서버는 방법적으로 구현될 수 있으며, 이에 대한 상세한 설명은 전술한 이동통신 장치와 서버 및 그 시스템에 대한 부분에서 상세히 설명하였으므로 여기서는 그 구체에 대해 생략하기로 한다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 맥락인식 사용자 프로파일링 및 콘텐츠 필터링 기반 사용자 적응형 증강현실 시스템에 관한 것으로서, 증강현실(AR: Augmented Reality) 시스템에 적용될 수 있다.
110: 이동통신 장치 111: 맥락 유추부
113: 증강현실 콘텐츠 렌더러 120: 서버
121: 사용자 프로파일 매니져 123: 개인화 콘텐츠 생성부

Claims (15)

  1. 증강현실 기반의 이동통신 장치에 있어서,
    센서정보를 입력받아 상기 이동통신 장치의 사용자에 대한 사용자 맥락을 유추하는 맥락 유추부;
    상기 사용자 맥락에 대한 정보를 서버로 전송하는 전송부;
    상기 사용자 맥락에 대한 정보에 따른 사용자 프로파일 정보와 사용자 선호도 정보를 이용하여 생성한 개인화 콘텐츠를 서버로부터 수신하는 수신부; 및
    상기 수신된 개인화 콘텐츠를 카메라로 촬영된 영상에 증강시키는 증강현실 콘텐츠 렌더러
    를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 이동통신 장치.
  2. 제 1 항에 있어서,
    상기 센서정보는 상기 이동통신 장치 또는 상기 사용자의 환경에 분산된 센서로부터 센싱된 정보를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 이동통신 장치.
  3. 제 1 항에 있어서,
    상기 센서정보는 상기 이동통신 장치에 대한 상기 사용자의 입력정보 또는 상기 카메라를 통해 입력된 영상에 대한 정보를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 이동통신 장치.
  4. 제 1 항에 있어서,
    상기 맥락 유추부는,
    상기 센서정보를 수집하여 기 설정된 기준에 따라 분류하는 맥락 수집부; 및
    상기 수집된 정보에 기초하여 상기 상용자 맥락을 추론하는 맥락 추론부
    를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 이동통신 장치.
  5. 제 1 항에 있어서,
    상기 증강현실 콘텐츠 렌더러는,
    상기 카메라로 촬영된 영상의 객체를 인식하여 추적하는 영상추적부; 및
    상기 개인화 콘텐츠를 상기 객체에 따라 렌더링하는 콘텐츠 렌더링부
    를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 이동통신 장치.
  6. 제 5 항에 있어서,
    상기 콘텐츠 렌더링부는 상기 사용자 프로파일 정보와 상기 사용자 선호도 정보에 기초한 정보 타입과 프리젠테이션 포맷으로 상기 개인화 콘텐츠를 렌더링하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 이동통신 장치.
  7. 증강현실 기반의 이동통신 장치에서의 증강현실 구현 방법에 있어서,
    센서정보를 입력받아 상기 이동통신 장치의 사용자에 대한 사용자 맥락을 유추하는 단계;
    상기 사용자 맥락에 대한 정보를 서버로 전송하는 단계;
    상기 사용자 맥락에 대한 정보에 따른 사용자 프로파일 정보와 사용자 선호도 정보를 이용하여 생성한 개인화 콘텐츠를 서버로부터 수신하는 단계; 및
    상기 수신된 개인화 콘텐츠를 카메라로 촬영된 영상에 증강시키는 단계
    를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 이동통신 장치에서의 증강현실 구현 방법.
  8. 증강현실 기반의 서버에 있어서,
    센서정보를 이용하여 유추된 이동통신 장치 사용자의 사용자 맥락에 대한 정보를 상기 이동통신 장치로부터 전송받는 수신부;
    상기 사용자 맥락에 대한 정보에 따라 사용자 프로파일 정보를 생성하는 사용자 프로파일 매니저;
    상기 사용자 맥락에 대한 정보와 상기 사용자 프로파일 정보에 기초하여 상기 사용자 맥락에 따른 상기 사용자의 선호도를 유추하고 필터링하여 개인화 콘텐츠를 생성하는 개인화 콘텐츠 생성부; 및
    상기 개인화 콘텐츠를 상기 이동통신 장치로 전송하는 전송부
    를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 서버.
  9. 제 8 항에 있어서,
    상기 센서정보는 상기 이동통신 장치 또는 상기 사용자의 환경에 분산된 센서로부터 센싱된 정보를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 서버.
  10. 제 8 항에 있어서,
    상기 센서정보는 상기 이동통신 장치에 대한 상기 사용자의 입력정보 또는 상기 카메라를 통해 입력된 영상에 대한 정보를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 서버.
  11. 제 8 항에 있어서,
    상기 사용자의 입력정보는 상기 이동통신 장치에 대한 상기 사용자의 명시적인 입력정보 및 상기 이동통신 장치에 대한 상기 사용자의 로그정보를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 서버.
  12. 제 11 항에 있어서,
    상기 사용자 프로파일 매니저는,
    상기 명시적 입력정보에 기초하여 상기 사용자의 명시적 프로파일을 생성하는 명시적 프로파일 생성부;
    상기 사용자의 로그정보에 기초하여 상기 사용자의 암시적 프로파일을 생성하는 암시적 프로파일 생성부; 및
    상기 명시적 프로파일과 암시적 프로파일에 기초하여 상기 사용자의 프로파일을 학습하고 업데이트하는 사용자 프로파일 학습부
    를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 서버.
  13. 제 8 항에 있어서,
    상기 개인화 콘텐츠 생성부는,
    상기 사용자 맥락에 대한 정보 및 상기 사용자 프로파일 정보에 기초하여 상기 맥락에 따른 상기 사용자의 콘텐츠 선호도에 대해 유추하는 콘텐츠 선호도 유추부; 및
    상기 콘텐츠 선호도에 대한 유사도에 따라 콘텐츠 데이터베이스의 콘텐츠를 평가하고 필터링하는 콘텐츠 필터링부
    를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 서버.
  14. 제 13 항에 있어서,
    상기 콘텐츠 필터링부는 상기 사용자 프로파일 정보와 상기 사용자 선호도 정보에 기초한 정보 타입과 프리젠테이션 포맷에 기초하여 콘텐츠를 평가하고 필터링하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 서버.
  15. 증강현실 기반의 서버 장치에서의 증강현실 구현 방법에 있어서,
    센서정보를 이용하여 유추된 이동통신 장치 사용자의 사용자 맥락에 대한 정보를 상기 이동통신 장치로부터 전송받는 단계;
    상기 사용자 맥락에 대한 정보에 따라 사용자 프로파일 정보를 생성하는 단계;
    상기 사용자 맥락에 대한 정보와 상기 사용자 프로파일 정보에 기초하여 상기 사용자 맥락에 따른 상기 사용자의 선호도를 유추하고 필터링하여 개인화 콘텐츠를 생성하는 단계; 및
    상기 개인화 콘텐츠를 상기 이동통신 장치로 전송하는 단계
    를 포함하는 것을 특징으로 하는 사용자 적응형 증강현실 기반의 서버 장치에서의 증강현실 구현 방법.
KR1020110060691A 2011-06-22 2011-06-22 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법 KR20130000160A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110060691A KR20130000160A (ko) 2011-06-22 2011-06-22 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법
US13/529,521 US20120327119A1 (en) 2011-06-22 2012-06-21 User adaptive augmented reality mobile communication device, server and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110060691A KR20130000160A (ko) 2011-06-22 2011-06-22 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법

Publications (1)

Publication Number Publication Date
KR20130000160A true KR20130000160A (ko) 2013-01-02

Family

ID=47361429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110060691A KR20130000160A (ko) 2011-06-22 2011-06-22 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법

Country Status (2)

Country Link
US (1) US20120327119A1 (ko)
KR (1) KR20130000160A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140133640A (ko) * 2013-05-09 2014-11-20 삼성전자주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
WO2017007206A1 (ko) * 2015-07-03 2017-01-12 (주)노바빈 관람자 관계형 동영상 제작 장치 및 제작 방법
WO2018155750A1 (ko) * 2017-02-27 2018-08-30 한국교육학술정보원 교육과정 카탈로그를 활용한 가상현실 및 증강현실 콘텐츠 탐색 시스템 및 방법
KR20210024204A (ko) * 2014-01-24 2021-03-04 피씨엠에스 홀딩스, 인크. 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
WO2022154436A1 (ko) * 2021-01-12 2022-07-21 엘지전자 주식회사 증강현실 서비스를 제공하는 ar 서비스 플랫폼

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130268366A1 (en) * 2012-04-10 2013-10-10 Hiccapp Technologies Ltd. Messaging system and method thereof
GB2501567A (en) * 2012-04-25 2013-10-30 Christian Sternitzke Augmented reality information obtaining system
US20130314443A1 (en) * 2012-05-28 2013-11-28 Clayton Grassick Methods, mobile device and server for support of augmented reality on the mobile device
KR101955723B1 (ko) * 2012-08-22 2019-03-07 한국전자통신연구원 증강 방송 서비스 제공 장치 및 방법
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US8928695B2 (en) 2012-10-05 2015-01-06 Elwha Llc Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US11270498B2 (en) 2012-11-12 2022-03-08 Sony Interactive Entertainment Inc. Real world acoustic and lighting modeling for improved immersion in virtual reality and augmented reality environments
WO2014126998A1 (en) * 2013-02-15 2014-08-21 Elwha Llc Displaying in response to detecting one or more user behaviors one or more second augmentations that are based on one or more registered first augmentations
WO2014136103A1 (en) * 2013-03-07 2014-09-12 Eyeducation A. Y. Ltd. Simultaneous local and cloud searching system and method
US9240075B2 (en) * 2013-03-15 2016-01-19 Daqri, Llc Campaign optimization for experience content dataset
US9262865B2 (en) * 2013-03-15 2016-02-16 Daqri, Llc Content creation tool
US9367811B2 (en) * 2013-03-15 2016-06-14 Qualcomm Incorporated Context aware localization, mapping, and tracking
US9196005B2 (en) * 2013-05-10 2015-11-24 Verizon and Redbox Digital Entertainment Services, LLC Vending kiosk user interface systems and methods
JP6314394B2 (ja) * 2013-09-13 2018-04-25 富士通株式会社 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
US9996973B2 (en) 2013-11-30 2018-06-12 Empire Technology Development Llc Augmented reality objects based on biometric feedback
TWI503785B (zh) * 2013-12-02 2015-10-11 Chunghwa Telecom Co Ltd 擴增實境系統、其應用方法以及包含擴增實境應用程式之非暫時性電腦可讀取媒體
US20150185825A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
US20170230589A1 (en) * 2014-09-29 2017-08-10 Aurasma Limited Targeting campaign in augmented reality
US10235714B2 (en) * 2014-12-01 2019-03-19 Verizon Patent And Licensing Inc. Customized virtual reality user environment control
US10915161B2 (en) * 2014-12-11 2021-02-09 Intel Corporation Facilitating dynamic non-visual markers for augmented reality on computing devices
WO2016099189A1 (ko) * 2014-12-19 2016-06-23 주식회사 와이드벤티지 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말
US10235808B2 (en) 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US10037085B2 (en) 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
US10657690B2 (en) * 2016-08-11 2020-05-19 Integem Inc. Intelligent augmented reality (IAR) platform-based communication system
WO2018031949A1 (en) * 2016-08-11 2018-02-15 Integem Inc. An intelligent augmented reality (iar) platform-based communication system
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
US10585939B2 (en) * 2016-10-11 2020-03-10 International Business Machines Corporation Real time object description service integrated with knowledge center on augmented reality (AR) and virtual reality (VR) devices
US11024092B2 (en) 2017-02-01 2021-06-01 Pcms Holdings, Inc. System and method for augmented reality content delivery in pre-captured environments
US10872289B2 (en) 2017-04-08 2020-12-22 Geun Il Kim Method and system for facilitating context based information
EP3388929A1 (en) * 2017-04-14 2018-10-17 Facebook, Inc. Discovering augmented reality elements in a camera viewfinder display
US10754996B2 (en) * 2017-09-15 2020-08-25 Paypal, Inc. Providing privacy protection for data capturing devices
KR102418992B1 (ko) * 2017-11-23 2022-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 증강 현실 서비스 제공 방법
EP3750032A4 (en) 2018-02-06 2021-11-17 Wal-Mart Apollo, LLC PERSONALIZED AUGMENTED REALITY ITEM FILTERING SYSTEM
US10489653B2 (en) 2018-03-07 2019-11-26 Capital One Services, Llc Systems and methods for personalized augmented reality view
US10095929B1 (en) * 2018-03-07 2018-10-09 Capital One Services, Llc Systems and methods for augmented reality view
US10832482B2 (en) 2018-09-11 2020-11-10 International Business Machines Corporation Augmented reality layers enhancement
CN111597429A (zh) * 2019-02-21 2020-08-28 北京京东尚科信息技术有限公司 网络资源推送方法、装置及存储介质
US11475637B2 (en) 2019-10-21 2022-10-18 Wormhole Labs, Inc. Multi-instance multi-user augmented reality environment
US11627092B2 (en) * 2020-11-30 2023-04-11 At&T Intellectual Property I, L.P. Streaming augmented reality data in a fifth generation (5G) or other next generation network
JP7116200B2 (ja) * 2021-01-06 2022-08-09 株式会社三井住友銀行 Ａｒプラットフォームシステム、方法およびプログラム
US11943227B2 (en) 2021-09-17 2024-03-26 Bank Of America Corporation Data access control for augmented reality devices
US11670060B1 (en) * 2021-10-11 2023-06-06 Meta Platforms Technologies, Llc Auto-generating an artificial reality environment based on access to personal user content

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070061735A1 (en) * 1995-06-06 2007-03-15 Hoffberg Steven M Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US20060150094A1 (en) * 2004-12-31 2006-07-06 Zakir Patrawala Web companion
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
US8385658B2 (en) * 2007-07-27 2013-02-26 Sportvision, Inc. Detecting an object in an image using multiple templates
US8368721B2 (en) * 2007-10-06 2013-02-05 Mccoy Anthony Apparatus and method for on-field virtual reality simulation of US football and other sports
US8156435B2 (en) * 2008-11-25 2012-04-10 At&T Intellectual Property I, L.P. Systems and methods to select media content
KR101646922B1 (ko) * 2009-05-19 2016-08-23 삼성전자 주식회사 휴대 단말기의 통신 관련 기능 운용 방법 및 이를 지원하는 휴대 단말기
US8493409B2 (en) * 2009-08-18 2013-07-23 Behavioral Recognition Systems, Inc. Visualizing and updating sequences and segments in a video surveillance system
US9445158B2 (en) * 2009-11-06 2016-09-13 Eloy Technology, Llc Distributed aggregated content guide for collaborative playback session
KR101229078B1 (ko) * 2009-12-21 2013-02-04 한국전자통신연구원 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
US9020871B2 (en) * 2010-06-18 2015-04-28 Microsoft Technology Licensing, Llc Automated classification pipeline tuning under mobile device resource constraints
US20110316880A1 (en) * 2010-06-29 2011-12-29 Nokia Corporation Method and apparatus providing for adaptation of an augmentative content for output at a location based on a contextual characteristic
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140133640A (ko) * 2013-05-09 2014-11-20 삼성전자주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
KR20210024204A (ko) * 2014-01-24 2021-03-04 피씨엠에스 홀딩스, 인크. 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
US11854130B2 (en) 2014-01-24 2023-12-26 Interdigital Vc Holdings, Inc. Methods, apparatus, systems, devices, and computer program products for augmenting reality in connection with real world places
WO2017007206A1 (ko) * 2015-07-03 2017-01-12 (주)노바빈 관람자 관계형 동영상 제작 장치 및 제작 방법
KR20180016424A (ko) * 2015-07-03 2018-02-14 (주)잼투고 관람자 관계형 동영상 제작 장치 및 제작 방법
US11076206B2 (en) 2015-07-03 2021-07-27 Jong Yoong Chun Apparatus and method for manufacturing viewer-relation type video
WO2018155750A1 (ko) * 2017-02-27 2018-08-30 한국교육학술정보원 교육과정 카탈로그를 활용한 가상현실 및 증강현실 콘텐츠 탐색 시스템 및 방법
WO2022154436A1 (ko) * 2021-01-12 2022-07-21 엘지전자 주식회사 증강현실 서비스를 제공하는 ar 서비스 플랫폼

Also Published As

Publication number Publication date
US20120327119A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
KR20130000160A (ko) 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법
US20200118010A1 (en) System and method for providing content based on knowledge graph
CN111626319A (zh) 计算环境中可解释人工智能的误用指标
CN109918669B (zh) 实体确定方法、装置及存储介质
KR20180051367A (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
KR20190047214A (ko) 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
KR20200052448A (ko) 지식 그래프에 기초하여 데이터베이스들을 통합하는 시스템 및 방법
US11748904B2 (en) Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method
EP2960815A1 (en) System and method for dynamically generating contextualised and personalised digital content
CN111353091A (zh) 信息处理方法、装置、电子设备及可读存储介质
KR20190056940A (ko) 멀티모달 데이터 학습 방법 및 장치
US20190325224A1 (en) Electronic device and method for controlling the electronic device thereof
CN115917535A (zh) 推荐模型的训练方法、推荐方法、装置及计算机可读介质
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN110998507B (zh) 电子装置及其用于提供搜索结果的方法
Bohnert et al. Personalised viewing-time prediction in museums
KR20220037996A (ko) 시각적 검색 쿼리를 위한 지능형 시스템 및 방법
CN110858213A (zh) 用于根据地图图像进行位置推理的方法
CN111026967A (zh) 一种获得用户兴趣标签的方法、装置、设备和介质
KR102384878B1 (ko) 동영상을 필터링하는 방법 및 장치
CN111512617A (zh) 推荐联系人信息的装置和方法
KR20200120557A (ko) 인공지능 모델을 갱신하는 전자 장치, 서버 및 그 동작 방법
KR20200120469A (ko) 인공지능 모델을 갱신하는 전자 장치, 서버 및 그 동작 방법
KR20190067433A (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
US11468270B2 (en) Electronic device and feedback information acquisition method therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application