KR101759415B1 - 실제 세계 분석론 시각화 - Google Patents

실제 세계 분석론 시각화 Download PDF

Info

Publication number
KR101759415B1
KR101759415B1 KR1020157029875A KR20157029875A KR101759415B1 KR 101759415 B1 KR101759415 B1 KR 101759415B1 KR 1020157029875 A KR1020157029875 A KR 1020157029875A KR 20157029875 A KR20157029875 A KR 20157029875A KR 101759415 B1 KR101759415 B1 KR 101759415B1
Authority
KR
South Korea
Prior art keywords
physical object
content data
posture
image
server
Prior art date
Application number
KR1020157029875A
Other languages
English (en)
Other versions
KR20150131357A (ko
Inventor
브라이언 멀린스
Original Assignee
데크리, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51525475&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101759415(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 데크리, 엘엘씨 filed Critical 데크리, 엘엘씨
Publication of KR20150131357A publication Critical patent/KR20150131357A/ko
Application granted granted Critical
Publication of KR101759415B1 publication Critical patent/KR101759415B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

서버가 하나 이상의 디바이스의 애플리케이션으로부터의 분석론 데이터를 수신 및 분석한다. 애플리케이션은 콘텐츠 생성기에 대응한다. 서버는, 콘텐츠 생성기를 이용하여, 분석론 데이터의 분석에 기초하여 시각화 콘텐츠 데이터세트를 생성한다. 시각화 콘텐츠 데이터세트는 하나 이상의 디바이스에 의해 캡쳐되고 이미지들의 세트에서 인식되는 물리적 오브젝트의 이미지에 관여될 대응 분석론 가상 오브젝트 모델들과 함께, 이미지들의 세트를 포함한다. 분석론 데이터 및 시각화 콘텐츠 데이터세트는 서버의 스토리지 디바이스에 저장될 수 있다.

Description

실제 세계 분석론 시각화{REAL WORLD ANALYTICS VISUALIZATION}
<우선권 출원>
본 출원은 2013년 3월 15일자로 출원된 미국 출원 번호 제13/840,359호에 대한 우선권의 혜택을 주장하며, 이 미국 출원은 그 전체가 본 명세서에 참고로 포함된다.
<기술 분야>
본 명세서에 개시된 요지는 일반적으로 데이터의 처리에 관한 것이다. 구체적으로는, 본 개시내용은 실제 세계 분석론 시각화(real world analytics visualization)를 위한 시스템들 및 방법들을 다룬다.
디바이스를 이용하여 데이터와 디바이스에 의해 캡쳐된 이미지를 생성 및 디스플레이할 수 있다. 예를 들어, 증강 현실(augmented reality; AR)은 사운드, 비디오, 그래픽 또는 GPS 데이터와 같은 컴퓨터 생성 감각 입력에 의해 해당 엘리먼트들이 증강되는 물리적 실제 세계 환경의 라이브, 직접 또는 간접, 뷰이다. 개선된 AR 기술(예를 들어, 컴퓨터 비전 및 오브젝트 인식을 추가함)의 도움으로 사용자의 주변 실제 세계에 관한 정보가 쌍방향으로 된다. 환경 및 그의 오브젝트들에 관한 디바이스 생성(예를 들어, 인위적) 정보가 실제 세계 위에 오버레이될 수 있다.
일부 실시예들은 첨부된 도면들의 도면들에서 일례로서 도시된 것이며 이들에 한정되지 않는다.
도 1은 일부 예시적인 실시예들에 따른, 실제 세계 분석론 시각화 서버를 동작시키는데 적합한 네트워크의 예를 설명하는 블록도이다.
도 2는 일부 예시적인 실시예들에 따른, 디바이스의 모듈들(예를 들어, 컴포넌트들)을 예시하는 블록도이다.
도 3은 일부 예시적인 실시예들에 따른, 정황 로컬 이미지 인식 모듈(contextual local image recognition module)의 모듈들(예를 들어, 컴포넌트들)을 예시하는 블록도이다.
도 4는 일부 예시적인 실시예들에 따른, 분석론 추적 모듈의 모듈들(예를 들어, 컴포넌트들)을 예시하는 블록도이다.
도 5는 일부 예시적인 실시예들에 따른, 서버의 모듈들(예를 들어, 컴포넌트들)을 예시하는 블록도이다.
도 6은 일부 예시적인 실시예들에 따른, 디바이스의 정황 로컬 이미지 인식 모듈의 동작을 예시하는 래더 다이어그램이다.
도 7은 일부 예시적인 실시예들에 따른, 실제 세계 분석론 시각화 서버의 동작을 예시하는 래더 다이어그램이다.
도 8은 일부 예시적인 실시예들에 따른, 디바이스의 정황 로컬 이미지 인식 데이터세트 모듈의 동작 예를 설명하는 흐름도이다.
도 9는 일부 예시적인 실시예들에 따른, 디바이스의 정황 로컬 이미지 인식 데이터세트 모듈의 또 다른 동작 예를 설명하는 흐름도이다.
도 10은 일부 예시적인 실시예들에 따른, 디바이스에서의 실제 세계 분석론 시각화의 또 다른 동작 예를 설명하는 흐름도이다.
도 11은 일부 예시적인 실시예들에 따른, 서버에서의 실제 세계 분석론 시각화의 또 다른 동작 예를 설명하는 흐름도이다.
도 12는 기계 판독가능 매체로부터 명령어들을 판독하고 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행할 수 있는, 일부 예시적인 실시예에 따른, 기계의 컴포넌트들을 예시하는 블록도이다.
예시적 방법들 및 시스템들은 실제 세계 분석론 시각화에 관한 것이다. 예들은 단지 가능한 변형들을 대표한다. 명시적으로 언급되지 않는 한, 컴포넌트들 및 기능들은 선택사항적이고, 결합 또는 분할될 수 있으며, 동작들은 순서에 따라 다를 수 있거나 결합 또는 분할될 수 있다. 다음의 설명에서, 설명을 목적으로, 다수의 특정 세부 사항은 예시적인 실시 형태의 완전한 이해를 제공하기 위해 설명된다. 그러나, 본 발명의 요지가 이들 특정 세부 사항 없이도 실시될 수 있다는 것은 본 분야의 통상의 기술자에게 명백할 것이다.
서버가 하나 이상의 디바이스의 증강 현실 애플리케이션으로부터 분석론 데이터를 수신 및 분석한다. 소비하는 애플리케이션은 경험 생성기(experience generator)에 대응한다. 서버는 경험 생성기를 이용하여, 분석론 데이터의 분석에 기초해 시각화 콘텐츠 데이터세트를 생성한다. 시각화 콘텐츠 데이터세트는 이미지들의 세트를, 하나 이상의 디바이스에 의해 캡쳐되고 이미지들의 세트에서 인식된 물리적 오브젝트의 이미지 위에 오버레이될 대응 분석론 가상 오브젝트 모델들과 함께, 포함한다. 분석론 데이터와 시각화 콘텐츠 데이터세트는 서버의 스토리지 디바이스에 저장될 수 있다.
증강 현실 애플리케이션들은 사용자가 예를 들어, 디바이스의 카메라에 의해 캡쳐된 물리적 오브젝트의 픽처 위에 오버레이된 3차원 가상 오브젝트의 형태로, 정보를 경험할 수 있게 한다. 물리적 오브젝트는 증강 현실 애플리케이션이 식별할 수 있는 시각적 참조를 포함할 수 있다. 물리적 오브젝트의 이미지에 오버레이되거나 관여(engage)된 3차원 가상 오브젝트와 같은 추가 정보의 시각화가 디바이스의 디스플레이에서 발생한다. 3차원 가상 오브젝트는 인식된 시각적 참조에 기초하여 선택될 수 있다. 3차원 가상 오브젝트의 시각화의 렌더링은 시각적 참조에 대한 디스플레이의 위치에 기초할 수 있다.
디바이스의 정황 로컬 이미지 인식 모듈이 서버로부터 1차 콘텐츠 데이터세트를 검색한다. 1차 콘텐츠 데이터세트는 이미지들의 제1 세트 및 대응 3차원 분석론 가상 오브젝트 모델들을 포함한다. 예를 들어, 이미지들의 제1 세트는 디바이스의 사용자가 디바이스에 의해 캡쳐할 것 같은 가장 일반적 이미지들을 포함할 수 있다. 정황 콘텐츠 데이터세트는 서버에서 검색된 이미지들의 제2 세트 및 대응 3차원 분석론 가상 오브젝트 모델들을 포함한다. 정황 로컬 이미지 인식 모듈은 디바이스에 의해 캡쳐된 이미지에 기초하여 정황 콘텐츠 데이터세트를 생성 및 업데이트한다. 디바이스의 스토리지 디바이스는 1차 콘텐츠 데이터세트 및 정황 콘텐츠 데이터세트를 저장한다.
도 1은 일부 예시적인 실시예들에 따른, 디바이스의 증강 현실 애플리케이션을 동작시키는데 적합한 네트워크 환경(100)을 설명하는 네트워크 다이어그램이다. 네트워크 환경(100)은 네트워크(108)를 통해 서로 통신가능하게 연결된, 디바이스(101) 및 서버(110)를 포함한다. 디바이스(101) 및 서버(110)는 각각 도 7에 대하여 아래 설명된 바와 같이, 전부 또는 부분적으로, 컴퓨터 시스템에 구현될 수 있다.
서버(110)는 네트워크 기반 시스템의 일부일 수 있다. 예를 들어, 네트워크 기반 시스템은 디바이스(101)에 3차원 모델들과 같은 추가 정보를 제공하는 클라우드 기반 서버 시스템일 수 있거나 그를 포함할 수 있다.
도 1은 디바이스(101)를 사용하는 사용자(102)를 예시한다. 사용자(102)는 인간 사용자(예를 들어, 인간), 기계 사용자(예를 들어, 디바이스(101)와 상호작용하도록 소프트웨어 프로그램에 의해 구성된 컴퓨터), 또는 그들의 임의의 적절한 조합(예를 들어, 인간이 감독하는 기계 또는 기계가 돕는 인간)일 수 있다. 사용자(102)는 네트워크 환경(100)의 일부가 아니지만, 디바이스(101)와 관련되어 있고, 디바이스(101)의 사용자(102)일 수 있다. 예를 들어, 디바이스(101)는 사용자(102)에 속하는 데스크톱 컴퓨터, 차량 컴퓨터(vehicle computer), 태블릿 컴퓨터, 내비게이션 디바이스(navigational device), 휴대용 미디어 디바이스, 또는 스마트폰일 수 있다.
사용자(102)는 디바이스(101)에서 애플리케이션의 사용자일 수 있다. 애플리케이션은, 2차원 물리적 오브젝트(104)(예를 들어, 픽처) 또는 3차원 물리적 오브젝트(106)(예를 들어, 조각상)와 같은 물리적 오브젝트에 의해 트리거된 경험을 사용자(102)에게 제공하도록 구성되는 증강 현실 애플리케이션을 포함할 수 있다. 예를 들어, 사용자(102)는 2차원 물리적 오브젝트(104)의 이미지를 캡쳐하기 위한 디바이스(101)의 카메라를 가리킬 수 있다. 이미지는 디바이스(101)의 증강 현실 애플리케이션의 로컬 정황 인식 데이터세트 모듈을 이용하여 디바이스(101)에서 로컬적으로 인식된다. 그 다음에, 증강 현실 애플리케이션은 이미지에 대응하는 추가 정보(예를 들어, 3차원 모델)를 생성하고, 인식된 이미지를 식별하는 것에 응답하여 디바이스(101)의 디스플레이에서 이 추가 정보를 제시한다. 캡쳐된 이미지가 디바이스(101)에 로컬적으로 인식되지 않으면, 디바이스(101)는 네트워크(108)를 통해 서버(110)의 데이터베이스로부터, 캡쳐된 이미지에 대응하는 추가 정보(예를 들어, 3차원 모델)를 다운로드한다.
디바이스(101)는 사용 및 사용자(102)가 물리적 오브젝트와 어떻게 상호작용하고 있는지에 대한 추가적 분석을 위해 분석론 데이터를 캡쳐하여 서버(110)에 제출할 수 있다. 예를 들어, 분석론 데이터는 사용자(102)가 물리적 또는 가상 오브젝트 상의 어느 위치들(예를 들어, 지점들 또는 특징부들)을 보는지, 사용자(102)가 물리적 또는 가상 오브젝트 상의 각각의 위치를 얼마나 오래 보는지, 사용자(102)가 물리적 또는 가상 오브젝트를 볼 때 디바이스(101)를 어떻게 잡았는지, 사용자(102)가 가상 오브젝트의 어느 특징부들과 상호작용했는지(예를 들어, 사용자(102)가 가상 오브젝트에서 링크를 탭핑(tap)했는지 여부 등), 및 그들의 임의의 적절한 조합을 추적할 수 있다. 디바이스(101)는 분석론 데이터와 관련된 시각화 콘텐츠 데이터세트(222)를 수신한다. 그 다음에, 디바이스(101)는 시각화 콘텐츠 데이터세트(222)에 기초하여 추가적 또는 시각화 특징부들을 갖는 가상 오브젝트, 또는 새로운 경험을 생성한다.
도 1에서 보이는 기계들, 데이터베이스들, 또는 디바이스들 중 임의의 것은 해당 기계, 데이터베이스, 또는 디바이스에 대해 본 명세서에서 설명되는 기능들 중 하나 이상의 기능을 수행하기 위한 특수 목적용 컴퓨터가 되도록 소프트웨어에 의해 수정된(예를 들어, 구성된 또는 프로그래밍된) 범용 컴퓨터로 구현될 수 있다. 예를 들어, 본 명세서에서 설명되는 방법론들 중 임의의 하나 이상의 방법론을 구현할 수 있는 컴퓨터 시스템이 도 12에 대하여 아래 논의된다. 본 명세서에 사용된 바와 같이, "데이터베이스"는 데이터 스토리지 리소스이고, 텍스트 파일, 표, 스프레드시트, 관계 데이터베이스(예를 들어, 오브젝트 관계 데이터베이스), 트리플 스토어(triple store), 계층적 데이터 스토어, 또는 그들의 임의의 적절한 조합으로서 구조화된 데이터를 저장할 수 있다. 더욱이, 도 1에 예시된 기계들, 데이터베이스들 또는 디바이스들 중 임의의 2개 이상은 단일 기계로 결합될 수 있고, 임의의 단일 기계, 데이터베이스, 또는 디바이스에 대해 본 명세서에서 설명된 기능들은 다수의 기계들, 데이터베이스들, 또는 디바이스들 간에서 세분될 수 있다.
네트워크(108)는 기계들(예를 들어, 서버(110)), 데이터베이스들, 및 디바이스들(예를 들어, 디바이스(101)) 사이의 통신을 가능하게 하는 임의의 네트워크일 수 있다. 따라서, 네트워크(108)는 유선 네트워크, 무선 네트워크(예를 들어, 모바일 또는 셀룰러 네트워크), 또는 그들의 임의의 적절한 조합일 수 있다. 네트워크(108)는 사설 네트워크, 공중 네트워크(예를 들어, 인터넷), 또는 그들의 임의의 적절한 조합을 구성하는 하나 이상의 부분들을 포함할 수 있다.
도 2는 일부 예시적인 실시예들에 따른, 디바이스(101)의 모듈들(예를 들어, 컴포넌트들)을 예시하는 블록도이다. 디바이스(101)는 센서들(202), 디스플레이(204), 프로세서(206), 및 스토리지 디바이스(216)를 포함할 수 있다. 예를 들어, 디바이스(101)는 사용자의 데스크톱 컴퓨터, 차량 컴퓨터, 태블릿 컴퓨터, 내비게이션 디바이스, 휴대용 미디어 디바이스, 또는 스마트폰일 수 있다. 사용자는 인간 사용자(예를 들어, 인간), 기계 사용자(예를 들어, 디바이스(101)와 상호작용하도록 소프트웨어 프로그램에 의해 구성된 컴퓨터), 또는 그들의 임의의 적절한 조합(예를 들어, 인간이 감독하는 기계 또는 기계가 돕는 인간)일 수 있다.
센서들(202)은 예를 들어, 근접 센서, 광학 센서(예를 들어, 카메라), 방향 센서(예를 들어, 자이로스코프), 오디오 센서(예를 들어, 마이크로폰), 또는 그들의 임의의 적절한 조합을 포함할 수 있다. 예를 들어, 센서들(202)은 디바이스(101)에 후방 카메라(rear facing camera) 및 전방 카메라(front facing camera)를 포함할 수 있다. 본 명세서에서 설명되는 센서들은 설명의 목적들을 위한 것이고, 그러므로 센서들(202)은 설명된 것들로 제한되지 않는 것이 주목된다.
디스플레이(204)는 예를 들어, 터치스크린 디스플레이 상의 접촉을 통해 사용자 입력을 수신하도록 구성된 터치스크린 디스플레이를 포함할 수 있다. 또 다른 예에서, 디스플레이(204)는 프로세서(206)에 의해 생성된 이미지들을 디스플레이하도록 구성된 스크린 또는 모니터를 포함할 수 있다.
프로세서(206)는 정황 로컬 이미지 인식 모듈(208), 증강 현실 애플리케이션(209)과 같은 소비하는 애플리케이션, 및 분석론 추적 모듈(218)을 포함할 수 있다.
증강 현실 애플리케이션(209)은 디바이스(101)의 디스플레이(204)에서 디바이스(101)의 카메라에 의해 캡쳐된 물리적 오브젝트의 이미지 상에 오버레이되는(예를 들어, 그 위에 중첩되는, 또는 다른 방식으로 동시에 디스플레이되는) 3차원 가상 오브젝트의 시각화를 생성할 수 있다. 3차원 가상 오브젝트의 시각화는 디바이스(101)의 카메라에 대한 물리적 오브젝트(예를 들어, 그의 물리적 위치, 방향, 또는 둘다)의 위치를 조절함으로써 조작될 수 있다. 유사하게, 3차원 가상 오브젝트의 시각화는 물리적 오브젝트에 대한 디바이스(101)의 위치 카메라를 조절함으로써 조작될 수 있다.
일 실시예에서, 증강 현실 애플리케이션(209)은 캡쳐된 이미지와 관련되는 가상 오브젝트들(예를 들어, 캡쳐된 이미지에 대응하는 가상 오브젝트)의 3차원 모델들을 검색하기 위해 디바이스(101)의 정황 로컬 이미지 인식 모듈(208)과 통신한다. 예를 들어, 캡쳐된 이미지는 식별 가능한 이미지, 심볼, 문자, 번호, 기계 판독가능 코드로 이루어지는 시각적 참조(마커라고도 함)를 포함할 수 있다. 예를 들어, 시각적 참조는 3차원 가상 오브젝트와 이전에 관련된 바코드, QR(quick response) 코드 또는 이미지(예를 들어, 3차원 가상 오브젝트에 대응하는 것으로 이전에 결정된 이미지)를 포함할 수 있다.
정황 로컬 이미지 인식 모듈(208)은 캡쳐된 이미지가 디바이스(101)에 이미지들 및 대응 추가 정보(예를 들어, 3차원 모델 및 쌍방향 특징부들)의 로컬 데이터베이스에 로컬적으로 저장된 이미지와 일치하는지를 결정하도록 구성될 수 있다. 일 실시예에서, 정황 로컬 이미지 인식 모듈(208)은 서버(110)로부터 1차 콘텐츠 데이터세트를 검색하고, 디바이스(101)에 의해 캡쳐된 이미지에 기초하여 정황 콘텐츠 데이터세트를 생성 및 업데이트한다.
분석론 추적 모듈(218)은 사용자(102)가 물리적 오브젝트와 어떻게 관여되는지에 관련된 분석론 데이터를 추적할 수 있다. 예를 들어, 분석론 추적 모듈(218)은 사용자(102)가 보는 물리적 또는 가상 오브젝트 상의 위치, 사용자(102)가 물리적 또는 가상 오브젝트 상의 각각의 위치를 얼마나 오래 보는지, 사용자(102)가 물리적 또는 가상 오브젝트를 볼 때 디바이스(101)를 어떻게 잡았는지, 사용자(102)가 가상 오브젝트의 어느 특징부들과 상호작용했는지(예를 들어, 사용자가 가상 오브젝트에서 링크를 탭핑했는지 여부 등), 또는 그들의 임의의 적절한 조합을 추적할 수 있다.
스토리지 디바이스(216)는 시각적 참조들(예를 들어, 이미지들) 및 대응 경험들(예를 들어, 3차원 가상 오브젝트들, 3차원 가상 오브젝트들의 쌍방향 특징부들)의 데이터베이스를 저장하도록 구성될 수 있다. 예를 들어, 시각적 참조는 기계 판독가능 코드 또는 이전에 식별된 이미지(예를 들어, 신발의 픽처)를 포함할 수 있다. 신발의 이전에 식별된 이미지는 신발의 픽처에 대한 디바이스(101)의 위치를 조작하는 것에 의해 상이한 각도들에서 볼 수 있는 신발의 3차원 가상 모델에 대응할 수 있다. 3차원 가상 신발의 특징부들은 신발의 3차원 가상 모델 상의 선택 가능한 아이콘들을 포함할 수 있다. 아이콘은 디바이스(101) 상에서 탭핑하거나 이동시키는 것에 의해 선택되거나 활성화될 수 있다.
일 실시예에서, 스토리지 디바이스(216)는 1차 콘텐츠 데이터세트(210), 정황 콘텐츠 데이터세트(212), 시각화 콘텐츠 데이터세트(222), 및 분석론 데이터세트(220)를 포함한다.
1차 콘텐츠 데이터세트(210)는 예를 들어, 이미지들의 제1 세트 및 대응 경험들(예를 들어, 3차원 가상 오브젝트 모델들과의 상호작용)을 포함한다. 예를 들어, 이미지는 하나 이상의 가상 오브젝트 모델들과 관련될 수 있다. 1차 콘텐츠 데이터세트(210)는 이미지들의 핵심 세트 또는 서버(110)에 의해 결정되는 가장 인기있는 이미지들을 포함할 수 있다. 이미지들의 핵심 세트는 서버(110)에 의해 식별된 제한된 수의 이미지들을 포함할 수 있다. 예를 들어, 이미지들의 핵심 세트는 10개의 가장 인기있는 잡지들의 커버들을 묘사하는 이미지들 및 그들의 대응 경험들(예를 들어, 10개의 가장 인기있는 잡지들을 나타내는 가상 오브젝트들)을 포함할 수 있다. 또 다른 예에서, 서버(110)는 서버(110)에서 수신된 가장 인기있는 또는 자주 스캐닝된 이미지들에 기초하여 이미지들의 제1 세트를 생성할 수 있다. 그러므로, 1차 콘텐츠 데이터세트(210)는 디바이스(101)의 증강 현실 애플리케이션(209)에 의해 스캐닝된 오브젝트들 또는 이미지들에 의존하지 않는다.
정황 콘텐츠 데이터세트(212)는 예를 들어, 서버(110)에서 검색한 이미지들의 제2 세트 및 대응 경험들(예를 들어, 3차원 가상 오브젝트 모델들)을 포함한다. 예를 들어, 1차 콘텐츠 데이터세트(210)에서 (예를 들어, 서버(110)에 의해) 인식되지 않은 디바이스(101)에 의해 캡쳐된 이미지들은 인식을 위해 서버(110)에 제출된다. 캡쳐된 이미지가 서버(110)에 의해 인식되면, 대응 경험이 디바이스(101)에 다운로드되고 정황 콘텐츠 데이터세트(212)에 저장될 수 있다. 그러므로, 정황 콘텐츠 데이터세트(212)는 디바이스(101)가 이용한 정황에 의존한다. 이에 따라, 정황 콘텐츠 데이터세트(212)는 디바이스(101)의 증강 현실 애플리케이션(209)에 의해 스캐닝된 오브젝트들 또는 이미지들에 의존한다.
분석론 데이터세트(220)는 분석론 추적 모듈(218)에 의해 수집된 분석론 데이터에 대응한다.
시각화 콘텐츠 데이터세트(222)는 예를 들어, 분석론 추적 모듈(218)에 의해 수집된 분석론 데이터에 기초하여 서버(110)로부터 다운로드된 이미지들의 시각화 세트 및 대응 경험들을 포함한다.
일 실시예에서, 디바이스(101)는 시각적 참조, 대응 3차원 가상 오브젝트들, 및 3차원 가상 오브젝트들의 대응 쌍방향 특징부들의 데이터베이스의 일부를 검색하기 위해 서버(110)와 네트워크(108)를 통해 통신할 수 있다. 네트워크(108)는 기계들, 데이터베이스들, 및 디바이스들(예를 들어, 디바이스(101)) 사이의 통신을 가능하게 하는 임의의 네트워크일 수 있다. 따라서, 네트워크(108)는 유선 네트워크, 무선 네트워크(예를 들어, 모바일 또는 셀룰러 네트워크) 또는 그들의 임의의 적절한 조합일 수 있다. 네트워크(108)는 사설 네트워크, 공중 네트워크(예를 들어, 인터넷) 또는 그들의 임의의 적절한 조합을 구성하는 하나 이상의 부분들을 포함할 수 있다.
본 명세서에서 설명된 모듈들 중 임의의 하나 이상은 하드웨어(예를 들어, 기계의 프로세서) 또는 하드웨어 및 소프트웨어의 조합을 이용하여 구현될 수 있다. 예를 들어, 본 명세서에서 설명된 임의의 모듈은 프로세서를 구성하여 해당 모듈에 대해 본원에서 설명된 동작들을 수행할 수 있다. 또한, 이러한 모듈들 중 임의의 두 개 이상은 단일의 모듈로 결합될 수 있고, 단일 모듈에 대해 본 명세서에서 설명된 기능들은 다수의 모듈들 간에서 세분될 수 있다. 또한, 다양한 예시적인 실시예들에 따라, 단일 기계, 데이터베이스 또는 디바이스 내에 구현되는 것으로 본 명세서에서 설명된 모듈들은 다수의 기계들, 데이터베이스들, 또는 디바이스들에 걸쳐서 분산될 수 있다.
도 3은 일부 예시적인 실시예들에 따른, 정황 로컬 이미지 인식 모듈(208)의 모듈들(예를 들어, 컴포넌트들)을 예시하는 블록도이다. 정황 로컬 이미지 인식 모듈(208)은 이미지 캡쳐 모듈(302), 로컬 이미지 인식 모듈(304), 콘텐츠 요청 모듈(306), 및 정황 콘텐츠 데이터세트 업데이트 모듈(308)을 포함할 수 있다.
이미지 캡쳐 모듈(302)은 디바이스(101)의 렌즈에 의해 이미지를 캡쳐할 수 있다. 예를 들어, 이미지 캡쳐 모듈(302)은 디바이스(101)에 의해 지시된 물리적 오브젝트의 이미지를 캡쳐할 수 있다. 일 실시예에서, 이미지 캡쳐 모듈(302)은 하나의 이미지 또는 일련의 스냅샷을 캡쳐할 수 있다. 다른 실시예에서, 이미지 캡쳐 모듈(302)은 센서들(202)(예를 들어, 진동, 자이로스코프, 컴퍼스 등)이 디바이스(101)가 더이상 이동하지 않는다는 것을 검출하는 경우 이미지를 캡쳐할 수 있다.
로컬 이미지 인식 모듈(304)은 캡쳐된 이미지가 1차 콘텐츠 데이터세트(210)에 저장된 이미지에 대응하는 것으로 결정한다. 그 다음에, 증강 현실 애플리케이션(209)은, 디바이스(101)에 의해 캡쳐된, 인식된 이미지에 대응하는 3차원 분석론 가상 오브젝트 모델을 로컬적으로 렌더링한다.
다른 예시적인 실시예에서, 로컬 이미지 인식 모듈(304)은 캡쳐된 이미지가 정황 콘텐츠 데이터세트(212)에 저장된 이미지에 대응하는 것으로 결정한다. 그 다음에, 증강 현실 애플리케이션(209)은 디바이스(101)에 의해 캡쳐된 이미지에 대응하는 3차원 분석론 가상 오브젝트 모델을 로컬적으로 렌더링한다.
콘텐츠 요청 모듈(306)은 1차 콘텐츠 데이터세트(210) 내의 이미지들의 세트 중 하나에 대응하는 것이 아니라 디바이스(101)에 의해 캡쳐된 이미지 및 스토리지 디바이스(216) 내의 정황 콘텐츠 데이터세트(212)에 기초하여 디바이스(101)에 의해 캡쳐된 이미지에 대응하는 3차원 분석론 가상 오브젝트 모델에 대해 서버(110)에 요청할 수 있다.
정황 콘텐츠 데이터세트 업데이트 모듈(308)은 콘텐츠 요청 모듈(306)에 의해 생성된 요청에 응답하여 서버(110)로부터의 디바이스(101)에 의해 캡쳐된 이미지에 대응하는 3차원 분석론 가상 오브젝트 모델을 수신할 수 있다. 일 실시예에서, 정황 콘텐츠 데이터세트 업데이트 모듈(308)은 디바이스(101)의 스토리지 디바이스(216) 내에 로컬적으로 저장된 임의의 이미지들에 대응하는 것이 아니라 디바이스(101)에 의해 캡쳐된 이미지에 기초한 서버(110)로부터의 디바이스(101)에 의해 캡쳐된 이미지에 대응하는 3차원 분석론 가상 오브젝트 모델에 의해 정황 콘텐츠 데이터세트(212)를 업데이트할 수 있다.
다른 실시예에서, 콘텐츠 요청 모듈(306)은 디바이스(101)의 사용 조건들을 결정할 수 있고, 사용 조건들에 기초하여 이미지들의 제3 세트 및 대응 3차원 가상 오브젝트 모델들에 대한 서버(110)로의 요청을 생성할 수 있다. 사용 조건들은 언제, 얼마나 자주, 어디서, 및 어떻게 사용자(102)가 디바이스(101)를 사용하는지를 전부 또는 부분적으로 나타낼 수 있다. 정황 콘텐츠 데이터세트 업데이트 모듈(308)은 이미지들의 제3 세트 및 대응 3차원 가상 오브젝트 모델들에 의해 정황 콘텐츠 데이터세트(212)를 업데이트할 수 있다.
예를 들어, 콘텐츠 요청 모듈(306)은 사용자(102)가 아침 시간에 신문의 페이지들을 스캐닝하는 것으로 결정한다. 그 다음에, 콘텐츠 요청 모듈(306)은 아침에 사용자(102)의 사용에 관련되는 이미지들의 세트 및 대응 경험들에 대한 서버(110)로의 요청을 생성한다. 예를 들어, 콘텐츠 요청 모듈(306)은 사용자(102)가 아침에 스캐닝할 가능성이 가장 높은 스포츠 기사들의 이미지들 및 스포츠 기사들 중 하나에서 언급된 스포츠 팀의 대응 업데이트된 가상 스코어 보드를 검색할 수 있다. 경험은, 예를 들어, 사용자(102)에 개인화되는 판타지 리그 스코어 보드 업데이트를 포함할 수 있다.
다른 예에서, 콘텐츠 요청 모듈(306)은 사용자(102)가 종종 신문의 경제 섹션을 스캐닝하는 것으로 결정한다. 그 다음에, 콘텐츠 요청 모듈(306)은 사용자(102)에 관련되는 이미지들의 세트 및 대응 경험들에 대한 서버(110)로의 요청을 생성한다. 예를 들어, 콘텐츠 요청 모듈(306)은 다음 발행의 경제 기사가 이용가능하자 마자 신문의 다음 발행의 경제 기사들의 이미지들을 검색할 수 있다. 경험은, 예를 들어, 다음 발행 경제 기사의 이미지에 대응하는 비디오 리포트를 포함할 수 있다.
또 다른 예시적인 실시예에서, 콘텐츠 요청 모듈(306)은 디바이스(101)의 사용자(102)의 사회 정보를 결정하고, 사회 정보에 기초하여 이미지들의 다른 세트 및 대응 3차원 가상 오브젝트 모델들에 대한 서버(110)로의 요청을 생성할 수 있다. 사회 정보는 디바이스(101) 내의 사회 네트워크 애플리케이션으로부터 획득될 수 있다. 사회 정보는 사용자(102)가 상호작용하는 사람, 사용자(102)가 디바이스(101)의 증강 현실 애플리케이션(209)을 이용하여 경험을 공유하는 사람을 전부 또는 부분적으로 포함할 수 있다. 정황 콘텐츠 데이터세트 업데이트 모듈(308)은 이미지들의 다른 세트 및 대응 3차원 가상 오브젝트 모델들에 의해 정황 콘텐츠 데이터세트(212)를 업데이트할 수 있다.
예를 들어, 사용자(102)는 잡지의 여러 페이지들을 스캐닝하였을 수 있다. 콘텐츠 요청 모듈(306)은 사용자(102)가 유사한 관심사를 공유하고 다른 잡지를 읽는 다른 사용자와 친구라는 것을 사회 네트워크 애플리케이션으로부터 결정한다. 그와 같이, 콘텐츠 요청 모듈(306)은 다른 잡지와 관련된 이미지들의 세트 및 대응 경험들(예를 들어, 카테고리, 관심 분야, 포맷, 간행 스케줄)에 대한 서버(110)로의 요청을 생성할 수 있다.
다른 예에서, 콘텐츠 요청 모듈(306)이 사용자(102)가 동일한 잡지로부터 하나 또는 두 개의 이미지를 스캐닝한 것으로 결정하는 경우, 콘텐츠 요청 모듈(306)은 동일한 잡지의 다른 이미지들로부터의 추가의 콘텐츠에 대한 요청을 생성할 수 있다.
도 4는 일부 예시적인 실시예들에 따른, 분석론 추적 모듈(218)의 모듈들(예를 들어, 컴포넌트들)을 예시하는 블록도이다. 분석론 추적 모듈(218)은 자세 추정 모듈(402), 자세 지속시간 모듈(404), 자세 방향 모듈(406), 및 자세 상호작용 모듈(408)을 포함한다. 자세는 디바이스(101)가 물리적 오브젝트와 관련하여 어떻게 그리고 얼마나 오래 유지되는지를 포함할 수 있다.
자세 추정 모듈(402)은 디바이스(101)가 조준하고 있는 가상 오브젝트 또는 물리적 오브젝트 상의 위치를 검출하도록 구성될 수 있다. 예를 들어, 디바이스(101)는 디바이스(101)가 물리적 오브젝트(104)를 조준하게 함으로써 생성된 가상 조각상(virtual statue)의 상부를 조준할 수 있다. 다른 예에서, 디바이스(101)는 잡지의 픽처 속의 사람의 신발을 조준할 수 있다.
자세 지속시간 모듈(404)은, 디바이스(101)가 (예를 들어, 사용자(102)에 의해) 물리적 또는 가상 오브젝트 상의 동일 위치를 조준하는 지속시간을 결정하도록 구성될 수 있다. 예를 들어, 자세 지속시간 모듈(404)은, 사용자(102)가 잡지 내의 사람의 신발을 디바이스(101)가 조준하게 하고 유지하는 시간의 길이를 측정할 수 있다. 신발에 대한 감정 및 관심이, 사용자(102)가 신발을 조준한 디바이스(101)를 유지한 시간의 길이에 기초하여 추론될 수 있다.
자세 방향 모듈(406)은 물리적 또는 가상 오브젝트를 (예를 들어, 사용자(102)에 의해) 조준하는 디바이스(101)의 방향을 결정하도록 구성될 수 있다. 예를 들어, 자세 방향 모듈(406)은 사용자(102)가 디바이스(101)를 가로 모드(landscape mode)로 유지하는 것으로 결정할 수 있고, 따라서, 디바이스(101)의 가로 방향에 기초하여 사용자(102)의 감정 또는 관심을 추론할 수 있다.
자세 상호작용 모듈(408)은 물리적 오브젝트에 대응하는 가상 오브젝트와 관련하여 디바이스(101) 상의 사용자(102)의 상호작용을 결정하도록 구성될 수 있다. 예를 들어, 가상 오브젝트는 가상 메뉴 또는 버튼과 같은 특징부들을 포함할 수 있다. 사용자(102)가 가상 버튼 상을 태핑하는 경우, 태핑된 가상 대화 박스와 관련된 사전선택된 웹사이트로 디바이스(101) 내의 브라우저 애플리케이션이 론칭된다. 자세 상호작용 모듈(408)은 사용자(102)가 어느 버튼들을 태핑하였는지, 각각의 가상 버튼들에 대한 클릭 스루 레이트(click through rate), 증강 현실 애플리케이션(209)으로부터 사용자(102)가 방문한 웹사이트 등을 측정하고 결정할 수 있다. 자세 상호작용 모듈은 또한 사용자(102)와 증강 현실 애플리케이션(209) 사이의 다른 상호작용들(예를 들어, 애플리케이션이 언제 사용되었는지, 어느 특징부들이 사용되었는지, 어느 버튼이 태핑되었는지)을 평가할 수 있다.
도 5는 일부 예시적인 실시예들에 따른, 서버(110)의 모듈들(예를 들어, 컴포넌트들)을 예시하는 블록도이다. 서버(110)는 경험 생성기(502), 분석론 계산 모듈(504), 및 데이터베이스(506)을 포함한다.
경험 생성기(502)는 물리적 오브젝트에 대한 디바이스(101)의 위치에 기초하여 디바이스(101)의 디스플레이(204)에 렌더링될 분석론 가상 오브젝트 모델을 생성할 수 있다. 분석론 가상 오브젝트 모델에 대응하는 가상 오브젝트의 시각화는 디바이스(101)에 의해 캡쳐된 물리적 오브젝트의 인식된 이미지와 관련될 수 있다. 가상 오브젝트는 인식된 이미지에 대응한다. 다시 말해서, 각각의 이미지는 자신의 고유한 가상 오브젝트를 가질 수 있다.
분석론 계산 모듈(504)은 디바이스(101)에 의해 캡쳐된 물리적 오브젝트에 대한 디바이스(101)의 자세 추정, 디바이스(101)에 의해 캡쳐된 물리적 오브젝트에 대한 디바이스(101)의 자세 지속시간, 디바이스(101)에 의해 캡쳐된 물리적 오브젝트에 대한 디바이스(101)의 자세 방향, 및 디바이스(101)에 의해 캡쳐된 물리적 오브젝트에 대한 디바이스(101)의 자세 상호작용을 분석할 수 있다. 전술한 바와 같이, 자세 추정은 디바이스(101)가 조준한 물리적 또는 가상 오브젝트 상의 위치를 포함할 수 있다. 자세 지속시간은 디바이스(101)가 물리적 또는 가상 오브젝트 상의 동일 위치를 조준하는 지속시간을 포함할 수 있다. 자세 방향은 물리적 또는 가상 오브젝트를 조준하는 디바이스(101)의 방향을 식별할 수 있다. 자세 상호작용은 물리적 오브젝트에 대응하는 가상 오브젝트에 대해 디바이스(101) 상의 사용자(102)의 상호작용을 식별할 수 있다.
데이터베이스(506)는 1차 콘텐츠 데이터세트(508), 정황 콘텐츠 데이터세트(510), 시각화 콘텐츠 데이터세트(512), 및 분석론 데이터(514)를 저장할 수 있다.
1차 콘텐츠 데이터세트(508)는 1차 콘텐츠 데이터세트(508) 및 정황 콘텐츠 데이터세트(510)를 저장할 수 있다. 1차 콘텐츠 데이터세트(508)는 이미지들의 제1 세트 및 대응 가상 오브젝트 모델들을 포함한다. 경험 생성기(502)는 디바이스(101)로부터 수신된 캡쳐된 이미지가 1차 콘텐츠 데이터세트(508)에서 인식되지 않는 것으로 결정하고, 디바이스(101)에 대한 정황 콘텐츠 데이터세트(510)를 생성한다. 정황 콘텐츠 데이터세트(510)는 이미지들의 제2 세트 및 대응 가상 오브젝트 모델들을 포함할 수 있다.
시각화 콘텐츠 데이터세트(512)는 분석론 계산 모듈(504)에 의한 분석론 데이터(514)의 분석에 기초하여 생성된 데이터를 포함한다. 시각화 콘텐츠 데이터세트(512)는 이미지들의 세트, 디바이스(101)에 의해 캡쳐되고 이미지들의 세트에서 인식된 물리적 오브젝트의 이미지에 관여된 대응 분석론 가상 오브젝트 모델들을 포함할 수 있다.
예를 들어, 잡지의 페이지에 대응하는 "히트 맵(heat map)" 데이터세트가 생성될 수 있다. "히트 맵"은 대응 페이지를 조준하는 경우, 디바이스(101) 상에 디스플레이되는 가상 맵일 수 있다. "히트 맵"은 사용자들이 가장 많이 보는 영역들을 나타낼 수 있다.
다른 예에서, 분석론 가상 오브젝트 모델은, 거동, 상태, 색상, 또는 형상이 물리적 오브젝트의 이미지에 대응하는 분석론 결과들에 의존하는 가상 오브젝트를 포함할 수 있다. 예를 들어, 신발 카탈로그의 페이지의 실시간 이미지가, 페이지 상에서 어느 신발이 가장 많이 팔렸는지, 가장 많이 보여졌는지, 또는 선택되었는지를 보여줄 수 있는 가상 정보에 의해 오버레이될 수 있다. 결과로서, 카탈로그 페이지 상의 가장 인기있는 신발의 이미지에 대응하는 가상 오브젝트(예를 들어, 신발의 확대된 3D 모델, 가상 플래그 핀(flag pin), 가상 화살표)가 생성되고 디스플레이될 수 있다. 페이지 상에서 가장 인기없는 신발은 대응하는 작은 가상 오브젝트(예를 들어, 신발의 더 작은 3D 모델)을 가질 것이다. 그와 같이, 사용자가 디바이스로 카탈로그 페이지를 지시하는 경우, 사용자는 카탈로그 페이지의 이미지에 관하여 부유하는 카탈로그 페이지로부터 신발의 여러 3D 모델을 볼 수 있다. 각각의 3D 신발 모델은 카탈로그 페이지 내의 그의 대응 신발 픽처 위에 부유할 수 있다. 다른 예에서, 가장 인기있는 신발만이 카탈로그 페이지의 이미지를 보고 있는 디바이스 상에 생성되고 디스플레이될 수 있다.
분석론 가상 오브젝트는 물리적 오브젝트의 이미지의 분석론 결과들에 기초하여 생성되는 하나 이상의 가상 오브젝트 모델을 포함할 수 있다.
분석론 데이터(514)는 증강 현실 애플리케이션(209)이 설치된 디바이스들(101)로부터 수집된 분석론 데이터를 포함할 수 있다.
일 실시예에서, 경험 생성기(502)는 다수의 디바이스들로부터의 자세 추정, 자세 지속시간, 자세 방향, 및 자세 상호작용에 기초하여 다수의 디바이스들에 대해 시각화 콘텐츠 데이터세트(512)를 생성한다.
다른 실시예에서, 경험 생성기(502)는 디바이스(101)로부터의 자세 추정, 자세 지속시간, 자세 방향, 및 자세 상호작용에 기초하여 디바이스(101)에 대한 시각화 콘텐츠 데이터세트(512)를 생성한다.
도 6은 일부 예시적인 실시예에 따른, 디바이스(101)의 정황 로컬 이미지 인식 모듈(208)의 동작을 예시하는 래더 다이어그램이다. 동작 602에서, 디바이스(101)는 서버(110)로부터 증강 현실 애플리케이션(209)을 다운로드한다. 증강 현실 애플리케이션(209)은 1차 콘텐츠 데이터세트(210)를 포함할 수 있다. 1차 콘텐츠 데이터세트(210)는 예를 들어, 10개의 인기있는 잡지들 중 가장 많이 스캐닝된 픽처들 및 대응 경험들을 포함할 수 있다. 동작 604에서, 디바이스(101)는 이미지를 캡쳐한다.
동작 606에서, 디바이스(101)는 캡쳐된 이미지를, 1차 콘텐츠 데이터세트(210) 및 정황 콘텐츠 데이터세트(212)로부터의 로컬 이미지들과 비교한다. 캡쳐된 이미지가 1차 콘텐츠 데이터세트 및 정황 콘텐츠 데이터세트 모두에서 인식되지 않는 경우, 디바이스(101)는, 동작 608에서, 캡쳐된 이미지와 관련된 콘텐츠 또는 경험을 검색할 것을 서버(110)에 요청한다.
동작 610에서, 서버(110)는 캡쳐된 이미지를 식별하고, 캡쳐된 이미지와 관련된 콘텐츠를 검색한다.
동작 612에서, 디바이스(101)는 서버(110)로부터, 캡쳐된 이미지에 대응하는 콘텐츠를 다운로드한다.
동작 614에서, 디바이스(101)는 콘텐츠를 포함하기 위해 그의 로컬 스토리지를 업데이트한다. 일 실시예에서, 디바이스(101)는 동작 612로부터 다운로드된 콘텐츠에 의해 그의 정황 콘텐츠 데이터세트(212)를 업데이트한다.
다른 예시적인 실시예에서, 동작 616에서 디바이스(101)로부터의 입력 조건들이 서버(110)에 제출된다. 입력 조건들은 사용 시간 정보, 위치 정보, 스캐닝된 이미지들의 이력, 및 사회 정보를 포함할 수 있다. 서버(110)는 동작 618에서 입력 조건들과 관련된 콘텐츠를 검색할 수 있다. 예를 들어, 입력 조건들이 사용자(102)가 디바이스(101)를 주로 위치 A로부터 동작시키는 것으로 나타내는 경우. 위치 A(예를 들어, 레스토랑 근처)에 관련된 콘텐츠가 서버(110)로부터 검색될 수 있다.
동작 620에서, 디바이스(101)는 동작 418에서 검색된 콘텐츠를 다운로드하고, 검색된 콘텐츠에 기초하여 정황 콘텐츠 데이터세트를 업데이트한다.
도 7은 일부 예시적인 실시예에 따라, 실제 세계 분석론 시각화 서버(110)의 동작을 예시하는 래더 다이어그램이다. 동작 702에서, 디바이스(101)는 자세 추정, 지속시간, 방향, 및 상호작용을 추적한다. 동작 704에서, 디바이스(101)는 분석론 데이터를 디바이스(101)의 스토리지 유닛에 로컬적으로 저장할 수 있다. 동작 706에서, 디바이스(101)는 분석론 데이터(514)를 분석을 위해 서버(110)에 전송한다. 동작 708에서, 서버(110)는 하나 이상의 디바이스(예를 들어, 디바이스(101))로부터의 분석론 데이터(514)를 분석한다. 예를 들어, 서버(110)는 다수의 디바이스가 주로 보는 신문 페이지 영역을 추적할 수 있다. 또 다른 예에서, 서버(110)는 다수의 디바이스가 주로 보거나 비교적 긴 시간 기간 동안(예를 들어, 다수의 디바이스로부터의 평균 시간 이상) 단일 디바이스(101)가 보는 잡지 페이지 영역을 추적할 수 있다.
동작 710에서, 서버(110)는 모바일 디바이스의 사용자로부터의 또는 모바일 디바이스들의 많은 사용자들로부터의 분석론 데이터에 적절한 시각화 콘텐츠 데이터세트(512)를 생성한다.
동작 712에서, 서버(110)는 시각화 콘텐츠 데이터세트(512)를 디바이스(101)에 전송한다. 디바이스(101)는 동작 714에서 시각화 콘텐츠 데이터세트(512)를 저장할 수 있다. 동작 716에서, 디바이스(101)는 시각화 콘텐츠 데이터세트(222)에서 인식된 이미지를 캡쳐한다. 동작 718에서, 디바이스(101)는 시각화 콘텐츠 데이터세트(222)에 기초하여 시각화 경험을 생성한다. 예를 들어, "히트맵(heatmap)"은 물리적 오브젝트에 대해 사용자들이 가장 자주 보는 영역들을 디스플레이할 수 있다. 히트맵은 물리적 오브젝트의 이미지에 대응하는 히트맵의 엘리먼트들(예를 들어, 라벨들, 아이콘들, 유색 표시자들)에 대한 물리적 오브젝트의 이미지 상부에 오버레이된 가상 맵일 수 있다.
도 8은, 일부 예시적인 실시예들에 따라, 디바이스(101)의 정황 로컬 이미지 인식 모듈(208)의 동작 예를 설명하는 흐름도이다.
동작 802에서, 정황 로컬 이미지 인식 데이터세트 모듈(208)은 1차 콘텐츠 데이터세트(210)를 디바이스(101)에 저장한다.
동작 804에서, 증강 현실 애플리케이션(209)은 이미지가 디바이스(101)에 의해 캡쳐된 것으로 결정한다.
동작 806에서, 정황 로컬 이미지 인식 데이터세트 모듈(208)은 디바이스(101)에서 1차 콘텐츠 데이터세트(210)에 로컬적으로 저장된 이미지들의 세트와 캡쳐된 이미지를 비교한다. 캡쳐된 이미지가 디바이스(101)에서 1차 콘텐츠 데이터세트(210)에 로컬적으로 저장된 이미지들의 세트로부터의 이미지에 대응하면, 증강 현실 애플리케이션(209)은, 동작 808에서, 인식된 이미지에 기초하여 경험을 생성한다.
캡쳐된 이미지가 디바이스(101)에서 1차 콘텐츠 데이터세트(210)에 로컬적으로 저장된 이미지들의 세트로부터의 이미지에 대응하지 않으면, 정황 로컬 이미지 인식 모듈(208)은, 동작 810에서, 디바이스(101)에서 정황 콘텐츠 데이터세트에 로컬적으로 저장된 이미지들의 세트와 캡쳐된 이미지를 비교한다.
캡쳐된 이미지가 디바이스(101)에서 정황 콘텐츠 데이터세트(212)에 로컬적으로 저장된 이미지들의 세트로부터의 이미지에 대응하면, 증강 현실 애플리케이션(209)은, 동작 808에서, 인식된 이미지에 기초하여 경험을 생성한다.
캡쳐된 이미지가 디바이스(101)에서 정황 콘텐츠 데이터세트(212)에 로컬적으로 저장된 이미지들의 세트로부터의 이미지에 대응하지 않으면, 정황 로컬 이미지 인식 모듈(208)은, 동작 812에서, 캡쳐된 이미지를 포함하는 요청을 서버(110)에 제출한다.
동작 814에서, 디바이스(101)는 캡쳐된 이미지에 대응하는 콘텐츠를 서버(110)로부터 수신한다.
동작 816에서, 정황 로컬 이미지 인식 모듈(208)은 수신된 콘텐츠에 기초하여 정황 콘텐츠 데이터세트(212)를 업데이트한다.
도 9는, 일부 예시적인 실시예들에 따라, 디바이스의 정황 로컬 이미지 인식 모듈의 또 다른 동작 예를 설명하는 흐름도이다.
동작 902에서, 정황 로컬 이미지 인식 모듈(208)은 디바이스(101)의 입력 조건들을 캡쳐한다. 전술한 바와 같이, 입력 조건들은 사용 시간 정보, 위치 정보, 스캐닝된 이미지들의 이력, 및 사회 정보를 포함할 수 있다.
동작 904에서, 정황 로컬 이미지 인식 모듈(208)은 입력 조건들을 서버(110)로 전달한다. 동작 906에서, 서버(110)는 디바이스(101)의 입력 조건들과 관련된 새로운 콘텐츠를 검색한다.
동작 908에서, 정황 로컬 이미지 인식 데이터세트 모듈(208)은 새로운 콘텐츠에 의해 정황 콘텐츠 데이터세트(212)를 업데이트한다.
도 10은, 일부 예시적인 실시예들에 따라, 디바이스(101)에서 실제 세계 분석론 시각화의 또 다른 동작 예(1000)를 예시하는 흐름도이다. 동작 1002에서, 디바이스(101)의 분석론 추적 모듈(218)은 디바이스(101)에서 자세 추정, 지속시간, 방향, 및 상호작용을 추적한다.
동작 1004에서, 디바이스(101)의 분석론 추적 모듈(218)은 분석론 데이터를 서버(110)에 전송한다. 동작 1006에서, 디바이스(101)의 증강 현실 애플리케이션(209)은 분석론 데이터에 기초하여 시각화 콘텐츠 데이터세트를 수신한다. 동작 1008에서, 디바이스(101)의 증강 현실 애플리케이션(209)은 디바이스(101)에 의해 캡쳐된 이미지가 시각화 콘텐츠 데이터세트(222)에서 인식되는지를 결정한다. 캡쳐된 이미지가 시각화 콘텐츠 데이터세트(222)에서 인식되면, 디바이스(101)의 증강 현실 애플리케이션(209)은 시각화 경험을 생성한다.
도 11은, 일부 예시적인 실시예들에 따라, 서버에서의 실제 세계 분석론 시각화의 또 다른 동작 예(1100)를 예시하는 흐름도이다.
동작 1102에서, 서버(110)의 분석론 계산 모듈(504)은, 각각 증강 현실 애플리케이션(209)을 실행하는, 디바이스들(예를 들어, 사용자(101))의 사용자들(예를 들어, 사용자(102))로부터의 분석론 데이터를 수신 및 종합한다. 동작 1104에서, 서버(110)의 분석론 계산 모듈(504)은 사용자(예를 들어, 디바이스(101)의 사용자(102))의 디바이스로부터의 분석론 데이터를 수신한다. 동작 1106에서, 서버(110)의 콘텐츠 생성자(502)는 특정한 디바이스의 분석론 데이터 및 종합 분석론 데이터에 기초하여 시각화 콘텐츠 데이터세트(512)를 생성한다. 예를 들어, 시각화 콘텐츠 데이터(512)는 물리적 오브젝트의 이미지에 대응하는 분석론 가상 오브젝트 모델들을 포함할 수 있다. 분석론 가상 오브젝트 모델들은 사용자들로부터 수집된 분석론 데이터에 대한 분석적 계산의 결과들을 보여주는 가상 오브젝트, 가상 디스플레이, 또는 가상 맵을 생성하는데 사용될 수 있다. 그러므로, 예를 들어, 높은 등급을 갖는 레스토랑은 디바이스의 디스플레이에서 레스토랑의 이미지 위에 더 큰 가상 오브젝트(예를 들어, 다른 레스토랑 가상 부호보다 더 큰 가상 부호)가 오버레이될 수 있다.
동작 1108에서, 서버(110)의 경험 모듈(502)은 시각화 콘텐츠 데이터세트(512)를 특정한 디바이스에 전송한다.
도 12는, 기계 판독가능 매체(예를 들어, 기계 판독가능 저장 매체, 컴퓨터-판독가능 저장 매체, 또는 이들의 임의의 적절한 조합)로부터의 명령어들을 판독하고, 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 전부 또는 일부 수행할 수 있는, 일부 예시적인 실시예에 따른, 기계(1200)의 컴포넌트들을 예시하는 블록도이다. 특히, 도 12는 컴퓨터 시스템의 예시적인 형태로 기계(1200)의 도식적 표현을 보여주고, 그 안에 있는 명령어들(1224)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행가능 코드)이 실행되어, 기계(1200)로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 전부 또는 일부 수행하게 할 수 있다. 대안적인 실시예들에서, 기계(1200)는 독립형 디바이스로서 동작하거나 다른 기계들에 연결될 수 있다(예를 들어, 네트워크화됨). 네트워크화된 전개에 있어서, 기계(1200)는 서버-클라이언트 네트워크 환경에서 서버 기계 또는 클라이언트 기계의 자격으로, 또는 분산형(예를 들어, 피어-투-피어(peer-to-peer)) 네트워크 환경에서 피어 기계(peer machine)로서 동작할 수 있다. 기계(1200)는, 서버 컴퓨터, 클라이언트 컴퓨터, 퍼스널 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북, 셋-톱 박스(STB), 개인 휴대 정보 단말기(PDA), 셀룰러 전화기, 스마트폰, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 해당 기계에 의해 취해질 액션들을 지정하는 명령어들(1224)을 순차적으로 또는 그와 다르게 실행할 수 있는 임의의 기계일 수 있다. 또한, 단지 단일 기계가 예시되어 있지만, "기계"라는 용어는 본원에서 논의된 방법론들 중 임의의 하나 이상의 전부 또는 일부를 수행하기 위해 개별적으로 또는 공동으로 명령어들(1224)을 실행하는 기계의 집합(collection)을 포함하는 것으로 취해져야 한다.
기계(1200)는, 버스(1208)를 통해 서로 통신하도록 구성되는, 프로세서(1202)(예를 들어, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 무선 주파수 집적 회로(RFIC), 또는 그들의 임의의 적절한 조합), 메인 메모리(1204), 및 스태틱 메모리(1206)를 포함한다. 기계(1200)는 그래픽 디스플레이(1210)(예를 들면, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 음극선 관(CRT))를 더 포함할 수 있다. 기계(1200)는 또한, 영숫자 입력 디바이스(1212)(예를 들어, 키보드), 커서 제어 디바이스(1214)(예를 들어, 마우스, 터치 패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 기기), 스토리지 유닛(1216), 신호 생성 디바이스(1218)(예를 들어, 스피커), 및 네트워크 인터페이스 디바이스(1220)를 포함할 수 있다.
스토리지 유닛(1216)은, 본 명세서에서 기술되는 방법론들 또는 기능들 중 임의의 하나 이상을 구체화하는 명령어들(1224)이 저장된, 기계 판독가능 매체(1222)를 포함한다. 명령어(1224)는, 기계(1200)에 의한 그들의 실행 동안, 메인 메모리(1204) 내에, 프로세서(1202) 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들 모두 내에, 완전히 또는 적어도 부분적으로 상주할 수도 있다. 따라서, 메인 메모리(1204) 및 프로세서(1202)는 기계 판독가능 매체로 간주될 수 있다. 명령어들(1224)은 네트워크 인터페이스 디바이스(1220)를 경유하여 네트워크(1226)(예를 들어, 네트워크(108))를 통해 송신되거나 수신된다.
본 명세서에 사용된 바와 같이, "메모리"라는 용어는 일시적으로 또는 영구적으로 데이터를 저장할 수 있는 기계 판독가능 매체를 지칭하고, 이에 한정되지는 않지만, RAM(random-access memory), ROM(read-only memory), 버퍼 메모리, 플래시 메모리, 및 캐시 메모리를 포함하는 것으로 취해질 수 있다. 예시적인 실시예에서는, 기계 판독가능 매체(1222)가 단일 매체인 것으로 도시되지만, "기계 판독가능 매체"라는 용어는 명령어들을 저장할 수 있는 단일 매체 또는 다수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 또는 관련 캐시들 및 서버들)를 포함하는 것으로 취해져야 한다. "기계 판독가능 매체"라는 용어는 또한 기계(예를 들어, 기계(1200))에 의해 실행하기 위한 명령어들을 저장할 수 있는 임의의 매체 또는 다수의 매체의 조합을 포함하여, 명령어들이, 기계의 하나 이상의 프로세서(예를 들어, 프로세서(1202))에 의해 실행될 때, 기계로 하여금 본 명세서에서 기술되는 방법론들 중 임의의 하나 이상을 수행하게 하는 것으로 취해져야 한다. 따라서, "기계 판독가능 매체"는 단일 스토리지 장치 또는 디바이스는 물론, 다수의 스토리지 장치 또는 디바이스들을 포함하는 "클라우드-기반" 스토리지 시스템들 또는 스토리지 네트워크들을 지칭한다. 따라서, "기계 판독가능 매체"라는 용어는, 이에 한정되지는 않지만, 고체-상태 메모리, 광학 매체, 자기 매체, 또는 그들의 임의의 적절한 조합의 형태로서 하나 이상의 데이터 저장소(repository)를 포함하는 것으로 취해져야 한다.
본 명세서 전체에 걸쳐, 복수 인스턴스들은 단일 인스턴스로 기술된 컴포넌트들, 동작들, 또는 구조들을 구현할 수 있다. 하나 이상의 방법의 개개의 동작들이 별도의 동작들로서 예시되고 설명되지만, 개개의 동작들 중 하나 이상은 동시에 수행될 수 있으며, 예시된 순서로 동작들이 수행되도록 요구되는 것은 아니다. 예시적인 구성에서 별개의 컴포넌트들로서 제시되는 구조 및 기능성은 조합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조들 및 기능성은 별개의 컴포넌트들로서 구현될 수 있다. 여러 변형들, 수정들, 추가들, 및 개선들은 본 명세서에서의 요지의 범위 내에 있다.
소정의 실시예들은 로직 또는 다수의 컴포넌트들, 모듈들, 또는 메커니즘들을 포함하는 것으로서 본 명세서에서 기술된다. 모듈들은 소프트웨어 모듈들(예를 들어, 기계 판독가능 매체 상에서 또는 송신 신호에서 구체화된 코드) 또는 하드웨어 모듈들을 포함할 수 있다. "하드웨어 모듈"은 소정의 동작들을 수행할 수 있는 유형의 유닛이고, 소정의 물리적 방식으로 구성 또는 배열될 수 있다. 다양한 예시적인 실시예들에서, 하나 이상의 컴퓨터 시스템들(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈들(예를 들어, 프로세서 또는 프로세서들의 그룹)은 본 명세서에서 기술되는 바와 같이 소정의 동작들을 수행하도록 동작하는 하드웨어 모듈로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 일부)에 의해 구성될 수 있다.
일부 실시예들에서, 하드웨어 모듈은 기계적으로, 전자적으로, 또는 그들의 임의의 적절한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 소정의 동작들을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 모듈은 FPGA(field programmable gate array) 또는 ASIC와 같은, 특수-목적 프로세서일 수 있다. 하드웨어 모듈은 또한 소정의 동작들을 수행하기 위해 소프트웨어에 의해 일시적으로 구성되는 프로그래밍가능 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 모듈은 범용 프로세서 또는 다른 프로그래밍가능 프로세서의 내에 포함된 소프트웨어를 포함할 수 있다. 전용이고 영구적으로 구성된 회로에서, 또는 일시적으로 구성된(예를 들어, 소프트웨어에 의해 구성된) 회로에서, 하드웨어 모듈을 기계적으로 구현하기 위한 결정은 비용 및 시간을 고려하여 진행될 수 있다는 것이 이해되어야 한다.
따라서, "하드웨어 모듈"이라는 문구는, 본 명세서에서 기술되는 소정의 동작들을 수행하기 위해 또는 소정의 방식으로 동작하기 위해 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드와이어드), 또는 일시적으로 구성된(예를 들어, 프로그래밍된) 엔티티인, 유형의 엔티티를 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용되는 바와 같이, "하드웨어-구현 모듈"은 하드웨어 모듈을 지칭한다. 하드웨어 모듈이 일시적으로 구성되는(예를 들어, 프로그래밍된) 실시예들을 고려하면, 하드웨어 모듈 각각이 임의의 하나의 인스턴스에서 제 시간에 구성 또는 예시될 필요는 없다. 예를 들어, 하드웨어 모듈이 특수-목적 프로세서가 되도록 소프트웨어에 의해 구성된 범용 프로세서를 포함하는 경우에, 범용 프로세서는 상이한 시간들에 각각 상이한 특수-목적 프로세서들(예를 들어, 상이한 하드웨어 모듈들을 포함함)로서 구성될 수 있다. 따라서, 소프트웨어는, 예를 들어, 하나의 시간 인스턴스에서 특정한 하드웨어 모듈을 구성하고, 상이한 시간 인스턴스에서 상이한 하드웨어 모듈을 구성하도록 프로세서를 구성할 수 있다.
하드웨어 모듈들은 다른 하드웨어 모듈들에게 정보를 제공하고 그들로부터 정보를 수신할 수 있다. 따라서, 기술된 하드웨어 모듈들은 통신가능하게 연결되는 것으로 간주될 수 있다. 다수의 하드웨어 모듈들이 동시에 존재하는 경우에, 통신은 하드웨어 모듈들 중 둘 이상 사이에서 신호 송신(예를 들어, 적절한 회로들과 버스들을 통해)을 통해 달성될 수 있다. 다수의 하드웨어 모듈들이 상이한 시간에 구성되거나 예시되는 실시예들에서, 그러한 하드웨어 모듈들 간의 통신은, 예를 들어, 다수의 하드웨어 모듈들이 액세스하는 메모리 구조들 내의 정보의 검색 및 스토리지를 통해, 달성될 수 있다. 예를 들어, 하나 하드웨어 모듈은 동작을 수행하고 그것이 통신가능하게 연결되는 메모리 디바이스에 해당 동작의 출력을 저장할 수 있다. 그 다음에, 추가적 하드웨어 모듈은, 그 이후 시간에, 메모리 디바이스에 액세스하여 저장된 출력을 검색 및 처리할 수 있다. 하드웨어 모듈들은 또한 입력 또는 출력 디바이스들에 의해 통신을 개시할 수 있고, 리소스(예를 들어, 정보의 집합)에서 동작할 수 있다.
본 명세서에서 기술되는 예시적 방법들의 다양한 동작은 관련 동작들을 수행하기 위해 일시적으로 구성되거나(예를 들어, 소프트웨어에 의해) 영구적으로 구성되는 하나 이상의 프로세서에 의해 적어도 부분적으로 수행될 수 있다. 일시적으로 구성되든지 영구적으로 구성되든지, 그러한 프로세서들은 본 명세서에서 기술되는 하나 이상의 동작 또는 기능들을 수행하기 위해 동작하는 프로세서-구현 모듈을 포함할 수 있다. 본 명세서에 사용된 바와 같이, "프로세서-구현 모듈"은 하나 이상의 프로세서를 이용하여 구현된 하드웨어 모듈을 지칭한다.
유사하게, 본 명세서에서 기술되는 방법들은 적어도 부분적으로, 하드웨어의 일례인, 프로세서로 구현되는 것일 수 있다. 예를 들어, 방법의 동작들의 적어도 일부는 하나 이상의 프로세서 또는 프로세서-구현 모듈들에 의해 수행될 수 있다. 더욱이, 하나 이상의 프로세서는 또한 "클라우드 컴퓨팅" 환경에서 또는 "SaaS(software as a service)"로서 관련 동작들의 성능을 지원하도록 동작할 수 있다. 예를 들어, 동작의 적어도 일부는, 이러한 동작이 네트워크(예를 들어, 인터넷)를 경유하여 그리고 하나 이상의 적절한 인터페이스들(예를 들어, API(application program interface))을 경유하여 액세스가능한, (프로세서들을 포함하는 기계들의 예들로서) 컴퓨터들의 그룹에 의해 수행될 수 있다.
동작들 중 소정 동작의 성능은, 단일 기계 내에 상주할 뿐만 아니라 다수의 기계에 걸쳐 배치된 하나 이상의 프로세서 사이에 분산될 수 있다. 일부 예시적인 실시예들에서, 하나 이상의 프로세서 또는 프로세서-구현 모듈들은 단일 지리적 위치(예를 들어, 가정 환경, 사무실 환경 또는 서버 팜 내에)에 위치할 수 있다. 다른 예시적인 실시예들에서, 하나 이상의 프로세서 또는 프로세서-구현 모듈들은 다수의 지리적 위치에 걸쳐 분산될 수 있다.
본 명세서에서 논의된 요지의 일부 부분은 기계 메모리(예를 들어, 컴퓨터 메모리) 내에 비트 또는 2진 디지털 신호로서 저장된 데이터에 관한 동작들의 알고리즘 또는 심볼 표현의 관점에서 제시될 수 있다. 그러한 알고리즘 또는 심볼 표현은 데이터 처리 분야의 통상의 기술자가 다른 통상의 기술자에게 그들의 작업의 본질을 전달하기 위해 이용되는 기술의 예이다. 본 명세서에서 사용되는 바와 같이, "알고리즘"은 원하는 결과로 이어지는 일관성 있는 동작 시퀀스 또는 유사한 처리이다. 이러한 정황에서, 알고리즘 및 동작들은 물리적 수량들의 물리적 조작을 수반한다. 반드시는 아니지만 통상적으로, 이러한 수량들은 기계에 의해 저장, 액세스, 전송, 결합, 비교, 또는 기타의 방식으로 조작될 수 있는 전기, 자기, 또는 광학 신호의 형태를 취할 수 있다. 주로 일반적인 사용을 이유로, 이러한 신호를, "데이터", "콘텐츠", "비트", "값", "엘리먼트", "심볼", "캐릭터", "항", "숫자", "수치" 등의 단어를 이용하여 지칭하는 것이 때때로 편리하다. 그러나, 이러한 단어들은 단지 편리한 라벨들이고, 적절한 물리적 수량과 관련되는 것이다.
특별히 달리 언급되지 않는 한, "처리", "컴퓨팅", "계산", "결정", "제시", "디스플레이" 등의 단어를 이용하는 본 명세서에서의 논의는, 하나 이상의 메모리(예를 들어, 휘발성 메모리, 비휘발성 메모리, 또는 그들의 임의의 적절한 조합), 레지스터, 또는 정보를 수신, 저장, 송신, 또는 디스플레이하는 다른 기계 컴포넌트 내의 물리적(예를 들어, 전자적, 자기적, 또는 광학적) 수량으로서 표현된 데이터를 조작 또는 변환하는 기계(예를 들어, 컴퓨터)의 액션들 또는 프로세스들을 지칭할 수 있다. 또한, 특별히 달리 언급되지 않는 한, 본 명세서에서 용어("a" 또는 "an")은, 특허 문서들에서 일반적인 바와 같이, 하나 또는 둘 이상의 인스턴스를 포함하기 위해 사용된다. 끝으로, 본 명세서에 사용된 바와 같이, 접속사 "또는(or)"은, 특별히 달리 언급되지 않는 한, 비-배타적 "또는(or)"을 지칭한다.

Claims (20)

  1. 컴퓨터 구현 방법으로서,
    복수의 디바이스로부터 물리적 오브젝트와의 사용자 상호작용들을 설명하는 분석론 데이터를 수신하는 단계 - 상기 분석론 데이터는, 상기 복수의 디바이스의 광학 센서들이 상기 물리적 오브젝트 상의 위치들에 지향되었던 지속시간 뿐만 아니라 사용자들이 상기 물리적 오브젝트와 상호작용했던 동안 상기 광학 센서들이 지향되었던 상기 물리적 오브젝트 상의 상기 위치들을 나타내는 자세 데이터를 포함함 - ;
    상기 분석론 데이터에 기초하여 상기 복수의 디바이스의 사용자들이 상기 물리적 오브젝트의 상기 위치들에서 본 빈도(frequency)를 결정하는 단계;
    컴퓨터 프로세서에 의해 상기 물리적 오브젝트에 대한 시각화 콘텐츠 데이터세트를 생성하는 단계 - 상기 시각화 콘텐츠 데이터세트는 상기 물리적 오브젝트의 이미지들의 세트, 및 상기 물리적 오브젝트의 각각의 이미지에 관여될 대응 분석론 가상 오브젝트 모델들을 포함하고, 각각의 이미지에 대한 상기 분석론 가상 오브젝트 모델은 상기 이미지에서 캡쳐된 상기 물리적 오브젝트의 상기 위치들에서 상기 복수의 디바이스의 사용자들이 본 빈도를 나타냄 - ; 및
    상기 물리적 오브젝트에 대한 상기 시각화 콘텐츠 데이터세트를 적어도 제1 디바이스에 전송하는 단계 - 상기 제1 디바이스는 상기 시각화 콘텐츠 데이터세트를 사용하여 상기 제1 디바이스의 광학 센서에 의해 캡쳐된 상기 물리적 오브젝트의 라이브 이미지에 대한 히트 맵(heat map)을 렌더링하고, 상기 히트 맵은 상기 라이브 이미지에서 캡쳐된 상기 물리적 오브젝트의 상기 위치들에서 상기 복수의 디바이스의 사용자들이 본 빈도를 나타냄 -
    를 포함하는 컴퓨터 구현 방법.
  2. 제1항에 있어서, 상기 물리적 오브젝트의 각각의 이미지에 대하여 상기 이미지에서 캡쳐된 상기 물리적 오브젝트의 상기 위치들에서 상기 복수의 디바이스의 사용자들이 본 빈도를 나타내는 상기 분석론 가상 오브젝트 모델을 생성하는 단계를 더 포함하는 컴퓨터 구현 방법.
  3. 제1항에 있어서, 상기 물리적 오브젝트에 대한 디바이스의 자세 추정, 상기 물리적 오브젝트에 대한 상기 디바이스의 자세 지속시간, 상기 물리적 오브젝트에 대한 상기 디바이스의 자세 방향, 및 상기 물리적 오브젝트에 대한 상기 디바이스의 자세 상호작용을 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  4. 제3항에 있어서,
    상기 자세 추정은 상기 디바이스에 의해 조준되는 상기 물리적 오브젝트 상의 위치를 포함하고;
    상기 자세 지속시간은 상기 디바이스가 상기 물리적 오브젝트 상의 동일 위치에 조준되는 지속시간을 포함하고;
    상기 자세 방향은 상기 물리적 오브젝트에 조준되는 상기 디바이스의 방향을 포함하고;
    상기 자세 상호작용은 상기 물리적 오브젝트에 대한 상기 디바이스 상에서의 상기 사용자의 상호작용들을 포함하는 컴퓨터 구현 방법.
  5. 제4항에 있어서, 다수의 디바이스로부터의 상기 자세 추정, 상기 자세 지속시간, 상기 자세 방향, 및 상기 자세 상호작용에 기초하여 다수의 디바이스에 대한 상기 시각화 콘텐츠 데이터세트를 생성하는 단계를 더 포함하는 컴퓨터 구현 방법.
  6. 제4항에 있어서, 상기 디바이스로부터의 상기 자세 추정, 상기 자세 지속시간, 상기 자세 방향, 및 상기 자세 상호작용에 기초하여 상기 디바이스에 대한 상기 시각화 콘텐츠 데이터세트를 생성하는 단계를 더 포함하는 컴퓨터 구현 방법.
  7. 제1항에 있어서, 1차 콘텐츠 데이터세트 및 정황 콘텐츠 데이터세트를 저장하는 단계를 더 포함하고, 상기 1차 콘텐츠 데이터세트는 이미지들의 제1 세트 및 대응 분석론 가상 오브젝트 모델들을 포함하고, 상기 정황 콘텐츠 데이터세트는 이미지들의 제2 세트 및 대응 분석론 가상 오브젝트 모델들을 포함하는 컴퓨터 구현 방법.
  8. 제7항에 있어서,
    디바이스로부터 수신되는 캡쳐된 이미지가 상기 1차 콘텐츠 데이터세트에서 인식되지 않는 것으로 결정하는 단계; 및
    상기 디바이스에 대한 상기 정황 콘텐츠 데이터세트를 생성하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  9. 제1항에 있어서, 상기 분석론 데이터는 디바이스의 사용 조건들을 포함하고, 상기 디바이스의 사용 조건들은 상기 디바이스의 사용자의 사회 정보, 위치 사용 정보, 및 상기 디바이스의 시간 정보를 포함하는 컴퓨터 구현 방법.
  10. 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어들은, 기계의 하나 이상의 컴퓨터 프로세서에 의해 실행될 때, 상기 기계로 하여금,
    복수의 디바이스로부터 물리적 오브젝트와의 사용자 상호작용들을 설명하는 분석론 데이터를 수신하는 동작 - 상기 분석론 데이터는, 상기 복수의 디바이스의 광학 센서들이 상기 물리적 오브젝트 상의 위치들에 지향되었던 지속시간 뿐만 아니라 사용자들이 상기 물리적 오브젝트와 상호작용했던 동안 상기 광학 센서들이 지향되었던 상기 물리적 오브젝트 상의 상기 위치들을 나타내는 자세 데이터를 포함함 - ;
    상기 분석론 데이터에 기초하여 상기 복수의 디바이스의 사용자들이 상기 물리적 오브젝트의 상기 위치들에서 본 빈도를 결정하는 동작;
    상기 물리적 오브젝트에 대한 시각화 콘텐츠 데이터세트를 생성하는 동작 - 상기 시각화 콘텐츠 데이터세트는 상기 물리적 오브젝트의 이미지들의 세트, 및 상기 물리적 오브젝트의 각각의 이미지에 관여될 대응 분석론 가상 오브젝트 모델들을 포함하고, 각각의 이미지에 대한 상기 분석론 가상 오브젝트 모델은 상기 이미지에서 캡쳐된 상기 물리적 오브젝트의 상기 위치들에서 상기 복수의 디바이스의 사용자들이 본 빈도를 나타냄 - ; 및
    상기 물리적 오브젝트에 대한 상기 시각화 콘텐츠 데이터세트를 적어도 제1 디바이스에 전송하는 동작 - 상기 제1 디바이스는 상기 시각화 콘텐츠 데이터세트를 사용하여 상기 제1 디바이스의 광학 센서에 의해 캡쳐된 상기 물리적 오브젝트의 라이브 이미지에 대한 히트 맵을 렌더링하고, 상기 히트 맵은 상기 라이브 이미지에서 캡쳐된 상기 물리적 오브젝트의 상기 위치들에서 상기 복수의 디바이스의 사용자들이 본 빈도를 나타냄 -
    을 수행하게 하는 비일시적 컴퓨터 판독가능 매체.
  11. 서버로서,
    하나 이상의 컴퓨터 프로세서; 및
    명령어들을 저장하는 하나 이상의 컴퓨터 판독가능 매체
    를 포함하고,
    상기 명령어들은, 상기 하나 이상의 컴퓨터 프로세서에 의해 실행될 때, 상기 서버로 하여금,
    복수의 디바이스로부터 물리적 오브젝트와의 사용자 상호작용들을 설명하는 분석론 데이터를 수신하는 동작 - 상기 분석론 데이터는, 상기 복수의 디바이스의 광학 센서들이 상기 물리적 오브젝트 상의 위치들에 지향되었던 지속시간 뿐만 아니라 사용자들이 상기 물리적 오브젝트와 상호작용했던 동안 상기 광학 센서들이 지향되었던 상기 물리적 오브젝트 상의 상기 위치들을 나타내는 자세 데이터를 포함함 - ;
    상기 분석론 데이터에 기초하여 상기 복수의 디바이스의 사용자들이 상기 물리적 오브젝트의 상기 위치들에서 본 빈도를 결정하는 동작;
    상기 물리적 오브젝트에 대한 시각화 콘텐츠 데이터세트를 생성하는 동작 - 상기 시각화 콘텐츠 데이터세트는 상기 물리적 오브젝트의 이미지들의 세트, 및 상기 물리적 오브젝트의 각각의 이미지에 관여될 대응 분석론 가상 오브젝트 모델들을 포함하고, 각각의 이미지에 대한 상기 분석론 가상 오브젝트 모델은 상기 이미지에서 캡쳐된 상기 물리적 오브젝트의 상기 위치들에서 상기 복수의 디바이스의 사용자들이 본 빈도를 나타냄 - ; 및
    상기 물리적 오브젝트에 대한 상기 시각화 콘텐츠 데이터세트를 적어도 제1 디바이스에 전송하는 동작 - 상기 제1 디바이스는 상기 시각화 콘텐츠 데이터세트를 사용하여 상기 제1 디바이스의 광학 센서에 의해 캡쳐된 상기 물리적 오브젝트의 라이브 이미지에 대한 히트 맵을 렌더링하고, 상기 히트 맵은 상기 라이브 이미지에서 캡쳐된 상기 물리적 오브젝트의 상기 위치들에서 상기 복수의 디바이스의 사용자들이 본 빈도를 나타냄 -
    을 수행하게 하는 서버.
  12. 제11항에 있어서, 상기 명령어들은, 상기 서버로 하여금, 상기 물리적 오브젝트의 각각의 이미지에 대하여 상기 이미지에서 캡쳐된 상기 물리적 오브젝트의 상기 위치들에서 상기 복수의 디바이스의 사용자들이 본 빈도를 나타내는 상기 분석론 가상 오브젝트 모델을 생성하는 동작을 또한 수행하게 하는 서버.
  13. 제11항에 있어서, 상기 명령어들은, 상기 서버로 하여금, 상기 물리적 오브젝트에 대한 디바이스의 자세 추정, 상기 물리적 오브젝트에 대한 상기 디바이스의 자세 지속시간, 상기 물리적 오브젝트에 대한 상기 디바이스의 자세 방향, 및 상기 물리적 오브젝트에 대한 상기 디바이스의 자세 상호작용을 결정하는 동작을 또한 수행하게 하는 서버.
  14. 제13항에 있어서,
    상기 자세 추정은 상기 디바이스에 의해 조준되는 상기 물리적 오브젝트 상의 위치를 포함하고;
    상기 자세 지속시간은 상기 디바이스가 상기 물리적 오브젝트 상의 동일 위치에 조준되는 지속시간을 포함하고;
    상기 자세 방향은 상기 물리적 오브젝트에 조준되는 상기 디바이스의 방향을 포함하고;
    상기 자세 상호작용은 상기 물리적 오브젝트에 대한 상기 디바이스 상에서의 상기 사용자의 상호작용들을 포함하는 서버.
  15. 제14항에 있어서, 상기 명령어들은, 상기 서버로 하여금, 다수의 디바이스로부터의 상기 자세 추정, 상기 자세 지속시간, 상기 자세 방향, 및 상기 자세 상호작용에 기초하여 다수의 디바이스에 대한 상기 시각화 콘텐츠 데이터세트를 생성하는 동작을 또한 수행하게 하는 서버.
  16. 제14항에 있어서, 상기 명령어들은, 상기 서버로 하여금, 상기 디바이스로부터의 상기 자세 추정, 상기 자세 지속시간, 상기 자세 방향, 및 상기 자세 상호작용에 기초하여 상기 디바이스에 대한 상기 시각화 콘텐츠 데이터세트를 생성하는 동작을 또한 수행하게 하는 서버.
  17. 제11항에 있어서, 상기 명령어들은, 상기 서버로 하여금, 1차 콘텐츠 데이터세트 및 정황 콘텐츠 데이터세트를 저장하는 동작을 또한 수행하게 하고, 상기 1차 콘텐츠 데이터세트는 이미지들의 제1 세트 및 대응 분석론 가상 오브젝트 모델들을 포함하고, 상기 정황 콘텐츠 데이터세트는 이미지들의 제2 세트 및 대응 분석론 가상 오브젝트 모델들을 포함하는 서버.
  18. 제17항에 있어서, 상기 명령어들은, 상기 서버로 하여금,
    디바이스로부터 수신되는 캡쳐된 이미지가 상기 1차 콘텐츠 데이터세트에서 인식되지 않는 것으로 결정하는 동작; 및
    상기 디바이스에 대한 상기 정황 콘텐츠 데이터세트를 생성하는 동작
    을 또한 수행하게 하는 서버.
  19. 제11항에 있어서, 상기 분석론 데이터는 디바이스의 사용 조건들을 포함하는 서버.
  20. 제19항에 있어서, 상기 디바이스의 사용 조건들은 상기 디바이스의 사용자의 사회 정보, 위치 사용 정보, 및 상기 디바이스의 시간 정보를 포함하는 서버.
KR1020157029875A 2013-03-15 2014-03-12 실제 세계 분석론 시각화 KR101759415B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/840,359 US9607584B2 (en) 2013-03-15 2013-03-15 Real world analytics visualization
US13/840,359 2013-03-15
PCT/US2014/024670 WO2014150969A1 (en) 2013-03-15 2014-03-12 Real world analytics visualization

Publications (2)

Publication Number Publication Date
KR20150131357A KR20150131357A (ko) 2015-11-24
KR101759415B1 true KR101759415B1 (ko) 2017-07-18

Family

ID=51525475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157029875A KR101759415B1 (ko) 2013-03-15 2014-03-12 실제 세계 분석론 시각화

Country Status (6)

Country Link
US (1) US9607584B2 (ko)
EP (1) EP2972952A4 (ko)
JP (1) JP2016514865A (ko)
KR (1) KR101759415B1 (ko)
AU (1) AU2014235416B2 (ko)
WO (1) WO2014150969A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068532B2 (en) 2011-09-21 2021-07-20 Horsetooth Ventures, LLC Interactive image display and selection system
US9734167B2 (en) 2011-09-21 2017-08-15 Horsetooth Ventures, LLC Interactive image display and selection system
US9607584B2 (en) 2013-03-15 2017-03-28 Daqri, Llc Real world analytics visualization
US10430018B2 (en) * 2013-06-07 2019-10-01 Sony Interactive Entertainment Inc. Systems and methods for providing user tagging of content within a virtual scene
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10586395B2 (en) 2013-12-30 2020-03-10 Daqri, Llc Remote object detection and local tracking using visual odometry
US9264479B2 (en) * 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US20150356068A1 (en) * 2014-06-06 2015-12-10 Microsoft Technology Licensing, Llc Augmented data view
US20180286130A1 (en) * 2016-01-06 2018-10-04 Hewlett-Packard Development Company, L.P. Graphical image augmentation of physical objects
CN107466404B (zh) 2017-05-11 2023-01-31 达闼机器人股份有限公司 物品搜索方法、装置及机器人
FR3090941A1 (fr) * 2018-12-21 2020-06-26 Orange Procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle
US11803701B2 (en) * 2022-03-03 2023-10-31 Kyocera Document Solutions, Inc. Machine learning optimization of machine user interfaces

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040556A (ja) 2006-08-01 2008-02-21 Canon Inc 複合現実感提示装置及びその制御方法、プログラム
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US8606645B1 (en) 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
US20130335573A1 (en) 2012-06-15 2013-12-19 Qualcomm Incorporated Input method designed for augmented reality goggles

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8250065B1 (en) * 2004-05-28 2012-08-21 Adobe Systems Incorporated System and method for ranking information based on clickthroughs
JP2007179273A (ja) * 2005-12-27 2007-07-12 Sony Corp ファイル転送システム、ファイル記憶装置、ファイル記憶方法及びプログラム
US20080218331A1 (en) * 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
EP2250623A4 (en) 2008-03-05 2011-03-23 Ebay Inc METHOD AND APPARATUS OF IMAGE RECOGNITION SERVICES
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
US8851380B2 (en) 2009-01-27 2014-10-07 Apple Inc. Device identification and monitoring system and method
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US9424583B2 (en) 2009-10-15 2016-08-23 Empire Technology Development Llc Differential trials in augmented reality
US9640085B2 (en) 2010-03-02 2017-05-02 Tata Consultancy Services, Ltd. System and method for automated content generation for enhancing learning, creativity, insights, and assessments
US8639440B2 (en) * 2010-03-31 2014-01-28 International Business Machines Corporation Augmented reality shopper routing
KR101295710B1 (ko) * 2010-07-28 2013-08-16 주식회사 팬택 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법
US8539086B2 (en) 2011-03-23 2013-09-17 Color Labs, Inc. User device group formation
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US20130060641A1 (en) * 2011-06-01 2013-03-07 Faisal Al Gharabally Promotional content provided privately via client devices
US9734167B2 (en) * 2011-09-21 2017-08-15 Horsetooth Ventures, LLC Interactive image display and selection system
US20140015858A1 (en) * 2012-07-13 2014-01-16 ClearWorld Media Augmented reality system
US9607584B2 (en) 2013-03-15 2017-03-28 Daqri, Llc Real world analytics visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040556A (ja) 2006-08-01 2008-02-21 Canon Inc 複合現実感提示装置及びその制御方法、プログラム
US8606645B1 (en) 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US20130335573A1 (en) 2012-06-15 2013-12-19 Qualcomm Incorporated Input method designed for augmented reality goggles

Also Published As

Publication number Publication date
EP2972952A4 (en) 2016-07-13
US20140267408A1 (en) 2014-09-18
US9607584B2 (en) 2017-03-28
JP2016514865A (ja) 2016-05-23
AU2014235416A1 (en) 2015-11-05
KR20150131357A (ko) 2015-11-24
EP2972952A1 (en) 2016-01-20
AU2014235416B2 (en) 2017-04-13
WO2014150969A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
KR101759415B1 (ko) 실제 세계 분석론 시각화
US11710279B2 (en) Contextual local image recognition dataset
US10147239B2 (en) Content creation tool
US9760777B2 (en) Campaign optimization for experience content dataset
KR101732839B1 (ko) 컨텐츠 전달의 세그먼테이션

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant