KR102257826B1 - 상황 로컬 이미지 인식 데이터세트 - Google Patents

상황 로컬 이미지 인식 데이터세트 Download PDF

Info

Publication number
KR102257826B1
KR102257826B1 KR1020157029890A KR20157029890A KR102257826B1 KR 102257826 B1 KR102257826 B1 KR 102257826B1 KR 1020157029890 A KR1020157029890 A KR 1020157029890A KR 20157029890 A KR20157029890 A KR 20157029890A KR 102257826 B1 KR102257826 B1 KR 102257826B1
Authority
KR
South Korea
Prior art keywords
image
computing device
content dataset
dataset
content
Prior art date
Application number
KR1020157029890A
Other languages
English (en)
Other versions
KR20150130558A (ko
Inventor
브라이언 멀린스
Original Assignee
데크리, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51525707&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR102257826(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 데크리, 엘엘씨 filed Critical 데크리, 엘엘씨
Publication of KR20150130558A publication Critical patent/KR20150130558A/ko
Application granted granted Critical
Publication of KR102257826B1 publication Critical patent/KR102257826B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

디바이스의 상황 로컬 이미지 인식 모듈이 서버로부터 주요 콘텐츠 데이터세트를 검색하고, 이어서 디바이스로 캡처된 이미지에 기초하여 상황 콘텐츠 데이터세트를 생성 및 갱신한다. 디바이스는 주요 콘텐츠 데이터세트 및 상황 콘텐츠 데이터세트를 저장한다. 주요 콘텐츠 데이터세트는 이미지들의 제1 세트 및 대응하는 가상 객체 모델들을 포함한다. 상황 콘텐츠 데이터세트는 이미지들의 제2 세트 및 서버로부터 검색된 대응하는 가상 객체 모델들을 포함한다.

Description

상황 로컬 이미지 인식 데이터세트{CONTEXTUAL LOCAL IMAGE RECOGNITION DATASET}
우선권 출원
본원은 2013년 3월 15일자로 출원된 미국 출원 제13/839,818호에 대해 우선권의 이익을 주장하며, 그 내용 전체가 본 명세서에 참고로 포함된다.
기술분야
본 명세서에서 개시되는 내용은 일반적으로 데이터의 처리와 관련된다. 구체적으로, 본 개시 내용은 상황 로컬 이미지 인식 데이터세트와 관련된 시스템들 및 방법들을 다룬다.
디바이스를 이용하여, 디바이스로 캡처된 이미지에 기초하여 데이터를 생성할 수 있다. 예를 들어, 증강 현실(AR)은 사운드, 비디오, 그래픽 또는 GPS 데이터와 같은 컴퓨터 생성 감각 입력에 의해 증대되는 요소들을 갖는 물리적 실세계 환경의 라이브, 직접 또는 간접 뷰이다. 진보된 AR 기술(예를 들어, 컴퓨터 비전 및 객체 인식의 추가)의 도움으로, 사용자의 주변 실세계에 대한 정보가 상호작용 가능해진다. 환경 및 그의 객체들에 대한 디바이스 생성(예로서, 인공) 정보가 실세계 위에 오버레이될 수 있다.
디바이스는 이미지들을 계속 스캔 및 캡처하여 그들을 인식을 위해 AR 서버로 전송할 수 있다. 이미지가 AR 서버의 데이터베이스 내의 저장 이미지와 매칭되면, 디바이스는 AR 서버로부터 삼차원 모델을 다운로드한다. 디바이스로부터 서버로의 스캐닝된 이미지들의 계속적인 업로딩 및 삼차원 모델들의 계속적인 다운로딩은 디바이스와 AR 서버 사이의 제한된 귀중한 네트워크 대역폭에 데이터 트래픽을 추가할 수 있다.
첨부 도면들에는 일부 실시예들이 한정이 아니라 예시적으로 도시된다.
도 1은 일부 실시예들에 따른, 디바이스를 동작시키는 데 적합한 네트워크의 일례를 나타내는 블록도이다.
도 2는 일부 실시예들에 따른 디바이스의 모듈들(예로서, 컴포넌트들)을 나타내는 블록도이다.
도 3은 일부 실시예들에 따른, 상황 로컬 이미지 인식 데이터세트 모듈의 모듈들(예로서, 컴포넌트들)을 나타내는 블록도이다.
도 4는 일부 실시예들에 따른, 디바이스의 상황 로컬 이미지 인식 데이터세트 모듈의 동작을 나타내는 사다리 도면이다.
도 5는 일부 실시예들에 따른, 디바이스의 상황 로컬 이미지 인식 데이터세트 모듈의 예시적인 동작을 나타내는 흐름도이다.
도 6은 일부 실시예들에 따른, 디바이스의 상황 로컬 이미지 인식 데이터세트 모듈의 다른 예시적인 동작을 나타내는 흐름도이다.
도 7은 일부 실시예들에 따른, 기계 판독 가능 매체로부터 명령어들을 판독하여 본 명세서에서 설명되는 방법들 중 어느 하나 이상을 수행할 수 있는 기계의 컴포넌트들을 나타내는 블록도이다.
예시적인 방법들 및 시스템들은 상황 로컬 이미지 인식 데이터세트에 관한 것이다. 예들은 가능한 변화들을 대표할 뿐이다. 명확히 달리 언급되지 않는 한, 컴포넌트들 및 기능들은 옵션이고, 결합 또는 세분될 수 있으며, 동작들은 순서가 변할 수 있거나 결합 또는 세분될 수 있다. 아래의 설명에서는, 설명의 목적으로, 실시예들의 충분한 이해를 제공하기 위해 다양한 특정 상세들이 설명된다. 그러나, 본 발명은 이러한 특정 상세 없이 실시될 수 있다는 것이 이 분야의 기술자에게 명백할 것이다.
증강 현실 애플리케이션들은 사용자가 예를 들어 디바이스의 카메라에 의해 캡처된 물리 객체의 사진 상에 오버레이된 가상 객체의 형태로 정보를 경험하는 것을 가능하게 한다. 물리 객체는 증강 현실 애플리케이션이 식별할 수 있는 시각적 기준을 포함할 수 있다. 물리 객체의 이미지와 관련된(예로서, 상부에 오버레이된) 가상 객체와 같은 추가 정보의 시각화가 디바이스의 디스플레이에서 생성된다. 가상 객체는 인식된 시각적 기준에 기초하여 생성될 수 있다. 가상 객체의 시각화의 렌더링은 시각 기준에 대한 디스플레이의 위치에 기초할 수 있다.
디바이스 내의 상황 로컬 이미지 인식 모듈이 서버로부터 주요 콘텐츠 데이터세트를 검색한다. 주요 콘텐츠 데이터세트는 이미지들의 제1 세트 및 대응하는 가상 객체 모델들을 포함한다. 예를 들어, 이미지들의 제1 세트는 디바이스의 사용자가 디바이스를 이용하여 캡처할 가능성이 있는 가장 일반적인 이미지들일 수 있다. 상황 콘텐츠 데이터세트는 이미지들의 제2 세트 및 서버로부터 검색된 대응하는 가상 객체 모델들을 포함한다. 상황 로컬 이미지 인식 모듈은 디바이스로 캡처된 이미지에 기초하여 콘텐츠 데이터세트를 생성 및 갱신한다. 디바이스의 저장 디바이스가 주요 콘텐츠 데이터세트 및 상황 콘텐츠 데이터세트를 저장한다.
도 1은 일부 실시예에 따르는, 디바이스의 증강 현실 애플리케이션을 동작시키는 데 하는데 적합한 네트워크 환경(100)을 예시하는 네트워크도이다. 네트워크 환경(100)은 디바이스(101)와 서버(110)를 포함하고, 이들은 네트워크(108)를 통해 서로 통신 가능하게 결합된다. 디바이스(101)와 서버(110)는 각각 도 7을 참고하여 이하 설명되는 바와 같이, 전체 또는 부분적으로 컴퓨터 시스템에 구현될 수 있다.
서버(110)는 네크워크-기반 시스템의 일부일 수 있다. 예를 들어, 네트워크-기반 시스템은 3차원 모델들과 같은 추가 정보를 디바이스(101)에 제공하는 클라우드 기반 서버 시스템일 수 있거나 이를 포함할 수 있다.
도 1은 디바이스(101)를 이용하는 사용자(102)를 도시한다. 사용자는 사람 사용자(예를 들어, 인간), 기계 사용자(예를 들어, 디바이스(101)와 상호 작용하기 위해 소프트웨어 프로그램에 의해 구성된 컴퓨터), 또는 이들의 임의의 적절한 조합(예를 들어, 기계의 도움을 받는 사람 또는 사람에 의해 감독되는 기계)일 수 있다. 사용자(102)는 네트워크 환경(100)의 일부가 아니지만, 디바이스(101)와 관련되고 디바이스(101)의 사용자일 수 있다. 예를 들어, 디바이스(101)는 사용자(102)에 속하는 데스크톱 컴퓨터, 차량용 컴퓨터, 태블릿 컴퓨터, 내비게이션 디바이스, 휴대용 미디어 디바이스, 또는 스마트폰일 수 있다.
사용자(102)는 디바이스(101)에서 애플리케이션의 사용자일 수 있다. 애플리케이션은 예를 들어, 2차원 물리적 객체(104)(예를 들어, 사진) 또는 3차원 물리적 객체(106)(예를 들어, 조각상)와 같은 물리적 객체에 의해 유발되는 경험을 사용자(102)에게 제공하도록 구성된 증강 현실 애플리케이션을 포함할 수 있다. 예를 들어, 사용자(102)는 2차원 물리적 객체(104)의 이미지를 캡처하기 위해 디바이스(101)의 카메라를 겨눌 수 있다. 이미지는 디바이스(101)의 증강 현실 애플리케이션의 로컬 상황 인식 데이터세트 모듈을 이용하여 디바이스(101)에서 국부적으로 인식된다. 증강 현실 애플리케이션은 그 후 이미지를 인식한 것에 응답하여 이미지에 대응하는 추가 정보(예를 들어, 3차원 모델)를 생성하고, 디바이스(101)의 디스플레이에 이런 추가 정보를 제시한다. 캡처된 이미지가 디바이스(101)에서 국부적으로 인식되지 않으면, 디바이스(101)는 네트워크(108)를 통해 서버(110)의 데이터베이스로부터, 캡처된 이미지에 대응하는 추가 정보(예를 들어, 3차원 모델)를 다운로드한다.
도 1에 도시된 기계, 데이터베이스 또는 디바이스 중 어느 것이든 해당 기계, 데이터베이스 또는 디바이스에 대해 본 명세서에서 설명된 기능들 중 하나 이상을 수행하기 위한 특수 목적 컴퓨터가 되도록 소프트웨어에 의해 수정된(예를 들어, 구성되거나 프로그래밍된) 범용 컴퓨터로 구현될 수 있다. 예를 들어, 본 명세서에 설명된 방법들 중 임의의 하나 이상을 구현할 수 있는 컴퓨터 시스템이 도 7을 참고로 이하 논의될 것이다. 본 명세서에 사용된 바와 같이, "데이터베이스"는 데이터 저장 리소스이며, 텍스트 파일, 테이블, 스프레드시트, 관계형 데이터베이스(예를 들어, 객체 관계형 데이터베이스), 트리플 스토어, 계층적 데이터 스토어, 또는 이들의 임의의 적당한 조합으로 구성된 데이터를 저장할 수 있다. 더욱이, 도 1에 도시된 기계, 데이터베이스 또는 디바이스 중 임의의 둘 이상이 단일 기계로 결합될 수 있으며, 임의의 단일 기계, 데이터베이스 또는 디바이스에 대해 본 명세서에 설명된 기능들은 다수의 기계, 데이터베이스 또는 디바이스 사이에 세분화될 수 있다.
네트워크(108)는 기계(예를 들어, 서버(110)), 데이터베이스 및 디바이스(예를 들어, 디바이스(101)) 사이 또는 이들 중에서 통신을 가능하게 하는 임의의 네트워크일 수 있다. 이에 따라, 네트워크(108)는 유선 네트워크, 무선 네트워크(예를 들어, 모바일 또는 셀룰러 네트워크), 또는 이들의 임의의 적당한 조합일 수 있다. 네트워크(108)는 사설 네트워크, 공공 네트워크(예를 들어, 인터넷), 또는 이들의 임의의 적당한 조합을 구성하는 하나 이상의 부분을 포함할 수 있다.
도 2는 일부 실시예에 따르는, 디바이스의 모듈(예를 들어, 컴포넌트)들을 예시한 블록도이다. 디바이스(101)는 센서들(202), 디스플레이(204), 프로세서(206), 및 저장 디바이스(207)를 포함할 수 있다. 예를 들어, 디바이스(201)는 사용자의 데스크톱 컴퓨터, 차량용 컴퓨터, 태블릿 컴퓨터, 내비게이션 디바이스, 휴대용 미디어 디바이스, 또는 스마트폰일 수 있다. 사용자는 사람 사용자(예를 들어, 인간), 기계 사용자(예를 들어, 디바이스(101)와 상호 작용하기 위해 소프트웨어 프로그램에 의해 구성된 컴퓨터), 또는 이들의 임의의 적당한 조합(예를 들어, 기계의 도움을 받는 사람 또는 사람에 의해 감독되는 기계)일 수 있다.
센서들(202)은 예를 들어, 진동 센서, 광센서(예를 들어, 전하 결합 소자(CCD)), 방위 센서(예를 들어, 자이로스코프), 오디오 센서(예를 들어, 마이크로폰), 또는 이들의 임의의 적당한 조합을 포함할 수 있다. 예를 들어, 센서들(202)은 디바이스(101)에서 전면 카메라와 후면 카메라를 포함할 수 있다. 본 명세서에 설명된 센서들은 예시적인 목적을 위한 것이며 이에 따라 센서들(102)은 설명된 것들로 제한되지 않음에 유의한다.
디스플레이(204)는 예를 들어, 터치스크린 디스플레이상에서 접촉을 통해 사용자 입력을 수신하도록 구성된 터치스크린 또는 터치 감지 디스플레이를 포함할 수 있다. 다른 예에서, 디스플레이(204)는 프로세서(206)에 의해 생성된 이미지를 표시하도록 구성된 스크린 또는 모니터를 포함할 수 있다.
프로세서(206)는 디바이스(101)의 디스플레이(204)에서 디바이스(101)의 카메라에 의해 캡처된 물리적 객체의 이미지상에 오버레이된(예를 들어, 이미지와 중첩되거나 또는 달리 이와 나란히 표시된) 3차원 가상 객체와 같은 가상 객체의 시각화를 생성하도록 구성된 증강 현실 애플리케이션(209)과 같은 경험 소비 애플리케이션을 포함할 수 있다. 3차원 가상 객체의 시각화는 디바이스(101)의 카메라에 대한 물리적 객체의 위치를 조정함에 의해 조작될 수 있다. 유사하게, 3차원 가상 객체의 시각화는 물리적 객체에 대한 디바이스(101)의 위치를 조정함에 의해 조작될 수 있다.
일 실시예에서, 증강 현실 애플리케이션(209)은 캡처된 이미지와 관련된 가상 객체들(예를 들어, 캡처된 이미지에 대응하는 가상 객체)의 3차원 모델들을 검색하기 위해 디바이스(101)에서 상황 로컬 이미지 인식 모듈(208)과 통신한다. 예를 들어, 캡처된 이미지는 식별 가능한 이미지, 심벌, 문자, 숫자, 기계 판독 가능한 코드를 포함하는 시각적 기준(또한, 마커로 지칭됨)을 포함할 수 있다. 예를 들어, 시각적 기준은 바코드, QR(Quick Response) 코드, 또는 3차원 가상 객체와 이전에 관련된 이미지(예를 들어, 3차원 가상 객체에 대응하는 것으로 이전에 결정된 이미지)를 포함할 수 있다.
상황 로컬 이미지 인식 모듈(208)은 캡처된 이미지가 디비이스(101)의 저장 디바이스(207) 내의 이미지들의 로컬 데이터베이스에 저장된 이미지 및 대응하는 추가 정보(예를 들어, 3차원 모델 및 하나 이상의 대화형 피처)와 정합하는지 결정하도록 구성될 수 있다. 일 실시예에서, 상황 로컬 이미지 인식 모듈(208)은 서버(110)로부터 주요 콘텐츠 데이터세트를 검색하고 디바이스(101)에 의해 캡처된 이미지에 기초하여 상황 콘텐츠 데이터세트를 생성하고 갱신한다.
저장 디바이스(207)는 시각적 기준들(예를 들어, 이미지들) 및 대응하는 경험들(예를 들어, 3차원 가상 객체들, 3차원 가상 객체들의 대화형 피처들)의 데이터베이스를 저장하도록 구성될 수 있다. 예를 들어, 시각적 기준은 기계 판독 가능한 코드 또는 이전에 식별된 이미지(예를 들어, 신발 사진)를 포함할 수 있다. 신발의 이전에 식별된 이미지는 신발 사진에 대해 디바이스(101)의 위치를 조작함으로써 상이한 각도에서 볼 수 있는 신발의 3차원 가상 모델에 대응할 수 있다. 3차원 가상 신발의 피처는 신발의 3차원 가상 모델 상에서 선택 가능한 아이콘들을 포함할 수 있다. 아이콘은 디바이스(101)상에서 태핑하거나 이동함에 의해 선택되거나 활성화될 수 있다.
일 실시예에서, 저장 디바이스(207)는 주요 콘텐츠 데이터세트(210) 및 상황 콘텐츠 데이터세트(212)를 포함한다. 주요 콘텐츠 데이터세트(210)는 예를 들어, 제1 세트의 이미지들 및 대응하는 경험들(예를 들어, 대화형 3차원 가상 객체 모델들, 다운로드 가능한 콘텐츠, 오디오, 비디오, 이미지들, 텍스트, 웹페이지들, 게임들, 광고들, 3D 모델들 등)을 포함한다. 주요 콘텐츠 데이터세트(210)는 서버(110)에 의해 결정된 이미지들의 코어 세트 또는 가장 유명한 이미지들을 포함할 수 있다. 이미지들의 코어 세트는 서버(110)에 의해 식별된 제한된 수의 이미지들을 포함할 수 있다. 예를 들어, 이미지들의 코어 세트는 10개의 가장 유명 잡지의 커버 이미지들 및 이들의 대응하는 경험들(예를 들어, 10개의 가장 유명한 잡지를 나타내는 가상 객체들)을 포함할 수 있다. 다른 예에서, 서버(110)는 서버(110)에서 수신된 가장 유명한 또는 자주 스캐닝되는 이미지들에 기초하여 제1 세트의 이미지들을 생성할 수 있다.
상황 콘텐츠 데이터세트(212)는 예를 들어, 디바이스(101) 및 증강 현실 애플리케이션(209)의 사용에 기초하여 서버(110)로부터 검색된 제2 세트의 이미지 및 대응하는 경험들(예를 들어, 3차원 가상 객체 모델들)을 포함한다. 예를 들어, 주요 콘텐츠 데이터세트(210)에서 인식되지 않는, 디바이스(101)에 의해 캡처된 이미지들은 인식을 위해 서버(110)에 제출된다. 캡처된 이미지가 서버(110)에 의해 인식되면, 대응하는 경험은 디바이스(101)에서 다운로드되고 상황 콘텐츠 데이터세트(212)에 저장될 수 있다.
일 실시예에서, 디바이스(101)는 시각적 기준들, 대응하는 3차원 가상 객체들, 및 3차원 가상 객체들의 대응하는 대화형 피처들을 저장하는 데이터세트의 일부를 검색하기 위해 네트워크(108)를 통해 서버(110)와 통신할 수 있다. 네트워크(108)는 기계, 데이터베이스 및 디바이스(예를 들어, 디바이스(101)) 사이 또는 이들 중에서 통신을 가능하게 하는 임의의 네트워크일 수 있다. 이에 따라, 네트워크(108)는 유선 네트워크, 무선 네트워크(예를 들어, 모바일 또는 셀룰러 네트워크), 또는 이들의 임의의 적당한 조합일 수 있다. 네트워크는 사설 네트워크, 공공 네트워크(예를 들어, 인터넷), 또는 이들의 임의의 적당한 조합을 구성하는 하나 이상의 부분을 포함할 수 있다.
본 명세서에 설명된 모듈들 중 임의의 하나 이상은 하드웨어(예를 들어, 기계의 프로세서) 또는 하드웨어와 소프트웨어의 결합을 이용하여 구현될 수 있다. 예를 들어, 본 명세서에 설명된 임의의 모듈은 프로세서가 해당 모델에 대해 본 명세서에서 설명된 동작들을 수행하도록 구성할 수 있다. 이들 모듈 중 임의의 둘 이상이 단일 모듈로 결합될 수 있으며, 단일 모듈에 대해 본 명세서에 설명된 기능들은 다수의 모듈 사이에 세분화될 수 있다. 더욱이, 다양한 실시예에 따르면, 단일 기계, 데이터베이스 또는 디바이스 내에 구현되는 것으로 본 명세서에 설명된 모듈들은 다수의 기계, 데이터베이스 또는 디바이스에 걸쳐 분포될 수 있다.
도 3은 일부 실시예에 따르는, 상황 로컬 이미지 인식 데이터세트 모듈(208)의 모듈(예를 들어, 컴포넌트)들을 예시하는 블록도이다. 상황 로컬 이미지 인식 데이터세트 모듈(208)은 이미지 캡처 모듈(302), 로컬 이미지 인식 모듈(304), 콘텐츠 요청 모듈(306), 및 상황 콘텐츠 데이터세트 갱신 모듈(308)을 포함할 수 있다.
이미지 캡처 모듈(302)은 디바이스(101)의 카메라에 의해 이미지를 캡처할 수 있다. 예를 들어, 이미지 캡처 모듈(302)은 디바이스(101)에 의해 겨누어진 물리적 객체의 이미지를 캡처할 수 있다. 일 실시예에서, 이미지 캡처 모듈(302)은 하나의 이미지 또는 일련의 스냅샷을 캡처할 수 있다. 다른 실시예에서, 이미지 캡처 모듈(302)은 센서들(202)(예를 들어, 진동, 자이로스코프, 컴퍼스 등) 중 하나가, 디바이스(101)가 더 이상 움직이지 않거나 또는 안정되게 유지된다고 검출할 때 이미지를 캡처할 수 있다.
로컬 이미지 인식 모듈(304)은 디바이스(101)에 의해 캡처된 이미지가 디바이스(101)에 저장된 주요 콘텐츠 데이터세트(210)의 이미지들의 세트 중 하나에 대응할 때 캡처된 이미지가 주요 콘텐츠 데이터세트(210)에 저장된 이미지에 대응한다고 결정하고 디바이스(101)에 의해 캡처된 이미지에 대응하는 3차원 가상 객체 모델을 국부적으로 렌더링한다.
다른 실시예에서, 로컬 이미지 인식 모듈(304)은 디바이스(101)에 의해 캡처된 이미지가 디바이스(101)에 저장된 상황 콘텐츠 데이터세트(212)의 이미지들의 세트 중 하나에 대응할 때 캡처된 이미지가 상황 콘텐츠 데이터세트(212)에 저장된 이미지에 대응한다고 결정하고 디바이스(101)에 의해 캡처된 이미지에 대응하는 3차원 가상 객체 모델을 국부적으로 렌더링한다.
상황 요청 모델(306)은, 디바이스(101)에 의해 캡처된 이미지가 주요 콘텐츠 데이터세트(210) 내의 이미지들의 세트 및 저장 디바이스(207)에서 상황 콘텐츠 데이터세트(212) 내의 이미지들의 세트 중 하나에 대응하지 않을 때 디바이스(101)에 의해 캡처된 이미지에 대응하는 3차원 가상 객체 모델에 대해 서버(110)에 요청한다.
상황 콘텐츠 데이터세트 갱신 모듈(308)은 콘텐츠 요청 모듈(306)에 의해 생성된 요청에 응답하여 서버(110)로부터 디바이스(101)에 의해 캡처된 이미지에 대응하는 3차원 가상 객체 모델을 수신할 수 있다. 일 실시예에서, 상황 콘텐츠 데이터세트 갱신 모듈(308)은, 디바이스(101)에 의해 캡처된 이미지가 디바이스(101)의 저장 디바이스(207)에 국부적으로 저장된 어느 이미지와도 대응하지 않을 때, 서버(110)로부터의 디바이스(101)에 의해 캡처된 이미지에 대응하는 3차원 가상 객체 모델로 상황 콘텐츠 데이터세트(212)를 갱신할 수 있다.
다른 실시예에서, 콘텐츠 요청 모듈(306)은 디바이스(101)의 사용 조건들을 결정하고, 사용 조건들에 기초하여 제3 세트의 이미지들 및 대응하는 3차원 가상 객체 모델들에 대한 서버(110)로의 요청을 생성할 수 있다. 사용 조건들은 사용자가 디바이스(101)를 언제 이용하고, 얼마나 자주 이용하고, 어디서 이용하고 어떻게 이용하는지에 관한 것일 수 있다. 상황 콘텐츠 데이터세트 갱신 모듈(308)은 제3 세트의 이미지들 및 대응하는 3차원 가상 객체 모델들로 상황 콘텐츠 데이터세트를 갱신한다.
예를 들어, 콘텐츠 요청 모듈(306)은 사용자(102)가 아침 시간에 신문 페이지를 훑어보는 것으로 결정한다. 콘텐츠 요청 모듈(306)은 그 후 아침에 사용자(102)의 사용과 관련된 이미지들의 세트 및 대응하는 경험들에 대한 서버(110)로의 요청을 생성한다. 예를 들어, 콘텐츠 요청 모듈(306)은 사용자(102)가 아침에 훑어볼 가능성이 많은 스포츠 기사들의 이미지들, 및 스포츠 기사들 중 하나에 언급된 스포츠팀의 대응하는 갱신된 가상 점수판을 검색할 수 있다. 경험은 예를 들어, 사용자(102)에 맞추어 개인화된 판타지 리그 점수판 갱신을 포함할 수 있다.
다른 예에서, 콘텐츠 요청 모듈(306)은 사용자(102)가 종종 신문의 비즈니스면을 훑어보는 것으로 결정한다. 콘텐츠 요청 모듈(306)은 그 후 사용자(102)와 관련된 이미지들의 세트 및 대응하는 경험들에 대한 서버(110)로의 요청을 생성한다. 예를 들어, 콘텐츠 요청 모듈(306)은 다음 호의 비즈니스 기사들이 이용 가능하게 되자마자 신문의 다음 호의 비즈니스 기사의 이미지들을 검색할 수 있다. 경험은 예를 들어, 다음 호의 비즈니스 기사의 이미지에 대응하는 비디오 리포트를 포함할 수 있다.
또 다른 실시예에서, 콘텐츠 요청 모듈(306)은 디바이스(101)의 사용자(102)의 사교 정보를 결정하고 사교 정보에 기초하여 다른 세트의 이미지들 및 대응하는 3차원 가상 객체 모델들에 대한 서버(110)로의 요청을 생성할 수 있다. 사교 정보는 디바이스(101) 내의 소셜 네트워크 애플리케이션으로부터 획득될 수 있다. 사교 정보는 사용자(102)가 상호 작용하는 사람, 및 사용자(102)가 디바이스(101)의 증강 현실 애플리케이션(209)를 이용하여 경험을 공유하는 사람과 관련될 수 있다. 상황 콘텐츠 데이터세트 갱신 모듈(308)은 다른 세트의 이미지들 및 대응하는 3차원 가상 객체 모델들로 상황 콘텐츠 데이터세트(212)를 갱신할 수 있다.
예를 들어, 사용자(102)는 잡지의 여러 페이지를 훑어보았을 수 있다. 콘텐츠 요청 모듈(306)은 소셜 네트워크 애플리케이션으로부터, 사용자(102)가 유사한 관심을 공유하며 다른 잡지를 읽는 다른 사용자와 친구인지를 결정한다. 이와 같이, 콘텐츠 요청 모듈(306)은 다른 잡지와 관련된 한 세트의 이미지 및 대응하는 경험들에 대한 서버(110)로의 요청을 생성할 수 있다.
다른 예에서, 콘텐츠 요청 모듈(306)이, 사용자(102)가 잡지의 커버 이미지를 훑어본 것으로 결정한다면, 콘텐츠 요청 모듈(306)은 동일한 잡지에서 다른 이미지들과 관련된 추가 콘텐츠에 대한 요청을 생성할 수 있다.
도 4는 일부 예시적 실시예들에 따른, 디바이스(101)의 상황 로컬 이미지 인식 데이터세트 모듈(208)의 동작을 도시하는 사다리 도면이다. 동작 402에서, 디바이스(101)는 서버(110)로부터 증강 현실 애플리케이션을 다운로드한다. 증강 현실 애플리케이션은 주요 콘텐츠 데이터세트(210)를 포함할 수 있다. 주요 콘텐츠 데이터세트(210)는 예를 들어, 열 개의 인기있는 잡지들의 가장 자주 스캔되는 사진들 및 대응하는 경험들을 포함할 수 있다. 동작 404에서, 디바이스(101)는 이미지들을 캡처한다.
동작 406에서, 디바이스(101)는 캡처된 이미지를 주요 콘텐츠 데이터세트(210)로부터의 그리고 상황 콘텐츠 데이터세트(212)로부터의 로컬 이미지들과 비교한다. 캡처된 이미지가 주요 콘텐츠 데이터세트 및 상황 콘텐츠 데이터세트 양쪽에서 인식되지 않으면, 디바이스(101)는 동작 408에서 캡처된 이미지와 연관된 콘텐츠 또는 경험을 검색하기 위해 서버(110)에 요청한다.
동작 410에서, 서버(110)는 캡처된 이미지를 식별하고, 캡처된 이미지와 관련된 콘텐츠를 검색한다.
동작 412에서, 디바이스(101)는 캡처된 이미지에 대응하는 콘텐츠를 서버(110)로부터 다운로드한다.
동작 414에서, 디바이스(101)는 콘텐츠를 포함하도록 그의 로컬 저장소를 갱신한다. 일 실시예에서, 디바이스(101)는 동작 412로부터의 다운로드된 콘텐츠로 그의 상황 콘텐츠 데이터세트(212)를 갱신한다.
디바이스(101)로부터의 입력 조건들이 또한 동작 416에서 서버(110)에 제출될 수 있다. 입력 조건들은 사용 시간 정보, 위치 정보, 스캔된 이미지들의 이력, 및 사교 정보를 포함할 수 있다. 서버(110)는 동작 418에서 입력 조건들과 연관되는 콘텐츠를 검색할 수 있다. 예를 들어, 입력 조건들이 사용자(102)가 주로 위치 A에서 디바이스(101)를 동작시킴을 나타내면, 위치 A(예를 들어, 근방의 식당들)와 관련된 콘텐츠가 서버(110)로부터 검색될 수 있다.
동작 420에서, 디바이스(101)는 동작 418에서 검색된 콘텐츠를 다운로드하고, 동작 422에서는 검색된 콘텐츠에 기초하여 상황 콘텐츠 데이터세트를 갱신한다.
도 5는 일부 예시적 실시예들에 따른, 디바이스의 상황 로컬 이미지 인식 데이터세트 모듈의 예시적인 동작을 도시하는 흐름도이다.
동작 502에서, 상황 로컬 이미지 인식 데이터세트 모듈(208)은 주요 콘텐츠 데이터세트(210)를 디바이스(101)에 저장한다.
동작 504에서, 증강 현실 애플리케이션(209)은 이미지가 디바이스(101)에 의해서 캡처되었다고 결정한다.
동작 506에서, 상황 로컬 이미지 인식 데이터세트 모듈(208)은 캡처된 이미지를 디바이스(101) 내의 주요 콘텐츠 데이터세트(210)에 국지적으로 저장된 이미지들의 세트와 비교한다. 캡처된 이미지가 디바이스(101) 내의 주요 콘텐츠 데이터세트(210)에 국지적으로 저장된 이미지들의 세트 중의 이미지에 대응하면, 증강 현실 애플리케이션(209)은 동작 508에서 인식된 이미지에 기초하여 경험을 생성한다.
캡처된 이미지가 디바이스(101) 내의 주요 콘텐츠 데이터세트(210)에 국지적으로 저장된 이미지들의 세트 중의 이미지에 대응하지 않으면, 상황 로컬 이미지 인식 데이터세트 모듈(208)은 동작 510에서, 캡처된 이미지를 디바이스(101) 내의 상황 콘텐츠 데이터세트(212)에 국지적으로 저장된 이미지들의 세트와 비교한다.
캡처된 이미지가 디바이스(101) 내의 상황 콘텐츠 데이터세트(212)에 국지적으로 저장된 이미지들의 세트 중의 이미지에 대응하면, 증강 현실 애플리케이션(209)은 동작 508에서, 인식된 이미지에 기초하여 경험을 생성한다.
캡처된 이미지가 디바이스(101) 내의 상황 콘텐츠 데이터세트(212)에 국지적으로 저장된 이미지들의 세트 중의 이미지에 대응하지 않으면, 상황 로컬 이미지 인식 데이터세트 모듈(208)은 동작 512에서, 캡처된 이미지를 포함한 요청을 서버(110)에 제출한다.
동작 514에서, 디바이스(101)는 서버(110)로부터 캡처된 이미지에 대응하는 콘텐츠를 수신한다.
동작 516에서, 상황 로컬 이미지 인식 데이터세트 모듈(208)은 수신된 콘텐츠에 기초하여 상황 콘텐츠 데이터세트(212)를 갱신한다.
도 6은 일부 예시적 실시예들에 따른, 디바이스의 상황 로컬 이미지 인식 데이터세트 모듈의 다른 예시적인 동작을 도시하는 흐름도이다.
동작 602에서, 상황 로컬 이미지 인식 데이터세트 모듈(208)은 디바이스(101)에 국지적인 입력 조건들을 캡처한다. 전술한 바와 같이, 국지적 입력 조건들은 사용 시간 정보, 위치 정보, 스캔된 이미지들의 이력, 및 사교 정보를 포함할 수 있다.
동작 604에서, 상황 로컬 이미지 인식 데이터세트 모듈(208)은 입력 조건들을 서버(110)에 전달한다. 동작 606에서, 서버(110)는 디바이스(101)의 입력 조건들과 관련된 새로운 콘텐츠를 검색한다.
동작 608에서, 상황 로컬 이미지 인식 데이터세트 모듈(208)은 새로운 콘텐츠로 상황 콘텐츠 데이터세트(212)를 갱신한다.
도 7은 기계 판독 가능 매체(예를 들어, 기계 판독 가능 저장 매체, 컴퓨터 기계 판독 가능 저장 매체, 또는 그들의 임의의 적절한 조합)로부터 명령어들을 판독할 수 있고, 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 전체적으로 또는 부분적으로 수행할 수 있는 일부 예시적인 실시예들에 따른 기계(700)의 컴포넌트들을 도시하는 블록도이다. 특히, 도 7은 컴퓨터 시스템의 예시적인 형태인 기계(700)의 도시적 표현을 나타내는 것으로, 그 안에서 기계(700)로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 하기 위한 명령어들(724)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 기타 실행 가능 코드)이 전체적으로 또는 부분적으로 실행될 수 있다. 대안적인 실시예들에서, 기계(700)는 독립형 디바이스로서 동작하거나 또는 다른 기계들과 접속(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에 있어서, 기계(700)는 서버-클라이언트 네트워크 환경에서 서버 기계 또는 클라이언트 기계의 자격으로 동작할 수 있거나, 또는 분산(예를 들어, 피어-투-피어(peer-to-peer)) 네트워크 환경에서 피어 기계로서 동작할 수 있다. 기계(700)는 서버 컴퓨터, 클라이언트 컴퓨터, 퍼스널 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북, 셋-톱 박스(STB), 개인 휴대 정보 단말기(PDA), 셀룰러 전화기, 스마트폰, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 해당 기계에 의해 수행될 동작들을 명시하는 명령어들(724)을 순차적으로 또는 달리 실행할 수 있는 임의의 기계일 수 있다. 또한, 단일의 기계만이 예시되어 있지만, 용어 "기계"는 또한 본 명세서에서 논의된 방법론들 중 임의의 하나 이상의 전체 또는 일부를 수행하게 하기 위해 명령어들(724)을 개별적으로 또는 공동으로 실행하는 기계들의 집단을 포함하는 것으로 이해될 것이다.
기계(700)는 버스(708)를 통해 서로 통신하도록 구성되는, 프로세서(702)(예를 들어, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 무선 주파수 집적 회로(RFIC), 또는 그들의 임의의 적합한 조합), 메인 메모리(704), 및 정적 메모리(706)를 포함한다. 기계(700)는 그래픽 디스플레이(710)(예를 들면, 플라스마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 음극선 관(CRT))를 더 포함할 수 있다. 기계(700)는 또한, 영숫자 입력 디바이스(712)(예를 들어, 키보드), 커서 제어 디바이스(714)(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기기), 저장 유닛(716), 신호 생성 디바이스(718)(예를 들어, 스피커), 및 네트워크 인터페이스 디바이스(720)를 포함할 수 있다.
저장 유닛(716)은 본 명세서에 기술된 방법론들 또는 기능들 중 임의의 하나 이상을 구현하는 명령어들(724)이 저장되는 기계 판독 가능 매체(722)를 포함한다. 명령어들(724)은 또한 기계(700)에 의한 그들의 실행 동안, 메인 메모리(704) 내에, 프로세서(702) 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들 둘 다 내에, 완전히 또는 적어도 부분적으로 상주할 수도 있다. 따라서, 메인 메모리(704) 및 프로세서(702)는 기계 판독 가능 매체로서 간주될 수 있다. 명령어들(724)은 네트워크 인터페이스 디바이스(720)를 경유하여 네트워크(726)(예를 들어, 네트워크(108))를 통해 송신 또는 수신될 수 있다.
본 명세서에 사용된 바와 같이, 용어 "메모리"는 일시적으로 또는 영구적으로 데이터를 저장할 수 있는 기계 판독 가능 매체를 지칭하고, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 및 캐시 메모리를 포함하지만 이들로 한정되지 않는 것으로 이해될 수 있다. 기계 판독 가능 매체(722)는 예시적 실시예에서 단일 매체인 것으로 나타내어지지만, 용어 "기계 판독 가능 매체"는 명령어들을 저장할 수 있는 단일 매체 또는 복수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 및/또는 연관된 캐시들 및 서버들)를 포함하는 것으로 이해될 것이다. 용어 "기계 판독 가능 매체"는 또한 기계(예를 들어, 기계(700))에 의한 실행을 위한 명령어들을 저장할 수 있는 임의의 매체, 또는 복수의 매체들의 조합을 포함하여, 명령어들이 기계의 하나 이상의 프로세서들(예를 들어, 프로세서(702))에 의해 실행될 때, 기계로 하여금 본 명세서에 기술된 방법론들 중 임의의 하나 이상을 수행하게 하는 것으로 이해될 것이다. 따라서, "기계 판독 가능 매체"는 단일 저장 장치 또는 디바이스뿐만 아니라, 다수의 저장 장치들 또는 디바이스들을 포함하는 "클라우드-기반" 저장 시스템들 또는 저장 네트워크들을 지칭한다. 따라서 용어 "기계 판독 가능 매체"는 솔리드-스테이트 메모리, 광학 매체, 자기 매체, 또는 그들의 임의의 적절한 조합의 형태의 하나 이상의 데이터 저장소들을 포함하지만 이들로 한정되지 않는 것으로 이해될 것이다.
이 명세서 전체에 걸쳐, 복수의 사례들이 단일 사례로서 묘사된 컴포넌트들, 동작들, 또는 구조들을 구현할 수 있다. 하나 이상의 방법들의 개별 동작들이 별개의 동작들로서 예시되고 설명되지만, 하나 이상의 개별 동작들이 동시에 수행될 수 있으며, 동작들이 예시된 순서로 수행될 필요는 없다. 예시의 구성들에서 별개의 컴포넌트들로서 제시되는 구조들 및 기능성은 결합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일의 컴포넌트로서 제시된 구조들과 기능성은 별도의 컴포넌트들로서 구현될 수 있다. 이들 및 기타 변형들, 수정들, 부가들, 및 개량들은 본 명세서의 주제의 범위 내에 포함된다.
특정 실시예들은 로직 또는 다수의 컴포넌트들, 모듈들, 또는 메커니즘들을 포함하는 것으로서 본 명세서에서 기술된다. 모듈들은 소프트웨어 모듈들(예를 들어, 컴퓨터 판독 가능 매체 상에 또는 송신 신호에 구현된 코드) 또는 하드웨어 모듈들로 구성될 수 있다. "하드웨어 모듈"은 특정 동작들을 수행할 수 있는 실체적 유닛이고, 특정 물리적 방식으로 구성될 수 있거나 또는 배열될 수 있다. 다양한 예시적 실시예들에서, 하나 이상의 컴퓨터 시스템들(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈들(예를 들어, 프로세서 또는 프로세서들의 그룹)은 본 명세서에 기술된 바와 같은 특정 동작들을 수행하기 위해 작동하는 하드웨어 모듈로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션의 일부)에 의해 구성될 수 있다.
일부 실시예들에서, 하드웨어 모듈은 기계적으로, 전자적으로, 또는 그들의 임의의 적절한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 특정 동작들을 수행하기 위해 영구적으로 구성되는 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 모듈은 예컨대, 필드 프로그래머블 게이트 어레이(FPGA) 또는 ASIC과 같은 특수-목적의 프로세서일 수 있다. 하드웨어 모듈은 또한 특정 동작들을 수행하기 위해 소프트웨어에 의해 일시적으로 구성되는 프로그래머블 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 모듈은 범용 프로세서 또는 다른 프로그래머블 프로세서 내에 포함된 소프트웨어를 포함할 수 있다. 하드웨어 모듈을 기계적으로, 전용의 그리고 영구적으로 구성된 회로로 구현할지, 아니면 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)로 구현할지의 결정은 비용과 시간을 고려하여 내려질 수 있다는 것을 이해할 것이다.
따라서, 문구 "하드웨어 모듈"은 실체적 개체를 포함하는 것으로 이해되어야 하고, 실체적 개체는 본 명세서에서 기술되는 특정 동작들을 수행하기 위해 또는 특정 방식으로 작동시키기 위해 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드와이어되거나), 또는 일시적으로 구성되는(예를 들어, 프로그래밍되는) 개체이다. 본 명세서에 사용된 바와 같이, "하드웨어-구현된 모듈"은 하드웨어 모듈을 지칭한다. 하드웨어 모듈들이 일시적으로 구성되는(예를 들어, 프로그래밍되는) 실시예들을 고려하면, 하드웨어 모듈들 각각은 임의의 하나의 시간 사례에 구성 또는 사례화될 필요가 없다. 예를 들어, 하드웨어 모듈이 특수-목적 프로세서가 되도록 소프트웨어에 의해 구성된 범용 프로세서를 포함하는 경우에, 범용 프로세서는 상이한 시간들에 (예를 들어, 상이한 하드웨어 모듈들을 포함하는 ) 각각 상이한 특수-목적 프로세서들로서 구성될 수 있다. 따라서, 소프트웨어는, 예를 들어 하나의 사간 사례에 특정 하드웨어 모듈을 구성하고, 상이한 시간 사례에 상이한 하드웨어 모듈을 구성하도록 프로세서를 구성할 수 있다.
하드웨어 모듈들은 다른 하드웨어 모듈들에 정보를 제공할 수 있고 그들로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 모듈들은 통신 가능하게 연결된 것으로 간주될 수 있다. 다수의 하드웨어 모듈들이 동시에 존재하는 경우에, 통신은 두 개 이상의 하드웨어 모듈들 사이에 또는 그들 중에 신호 송신을 통해(예를 들어, 적절한 회로들 및 버스들을 통해) 이루어질 수 있다. 다수의 하드웨어 모듈들이 상이한 시간들에 구성되거나 예시되는 실시예들에서, 그러한 하드웨어 모듈들 사이의 통신은 예를 들어, 다수의 하드웨어 모듈들이 액세스하는 메모리 구조들에서의 정보의 저장과 검색을 통해 이루어질 수 있다. 예를 들어, 하나의 하드웨어 모듈은 동작을 수행할 수 있고, 그 동작의 출력을 그것이 통신 가능하게 연결된 메모리 디바이스에 저장할 수 있다. 그러면, 추가의 하드웨어 모듈이, 나중에, 저장된 출력을 검색하고 처리하기 위해 메모리 디바이스에 액세스할 수 있다. 하드웨어 모듈들은 또한 입력 또는 출력 디바이스들에 의해 통신을 개시할 수 있고, 리소스(예를 들어, 정보의 모임)에 대해 작동할 수 있다.
본 명세서에서 기술되는 예시적 방법들의 다양한 동작들은 관련 동작들을 수행하기 위해 (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 또는 영구적으로 구성되는 하나 이상의 프로세서들에 의해 적어도 부분적으로 수행될 수 있다. 일시적으로 구성되든지 아니면 영구적으로 구성되든지, 그러한 프로세서들은 본 명세서에서 기술되는 하나 이상의 동작들 또는 기능들을 수행하기 위해 작동하는 프로세서-구현된 모듈들을 구성할 수 있다. 본 명세서에 사용된 바와 같이, "프로세서-구현된 모듈"은 하나 이상의 프로세서들을 이용하여 구현된 하드웨어 모듈을 지칭한다.
유사하게, 본 명세서에 기술되는 방법들은 적어도 부분적으로 프로세서-구현될 수 있고, 프로세서는 하드웨어의 예이다. 예를 들어, 방법의 동작들 중 적어도 일부는 하나 이상의 프로세서들 또는 프로세서-구형된 모듈들에 의해 수행될 수 있다. 또한, 하나 이상의 프로세서들은 또한 "클라우드 컴퓨팅" 환경에서 또는 "서비스형 소프트웨어"(SaaS, software as a service)로서 관련 동작들의 수행을 지원하도록 작동할 수 있다. 예를 들어, 동작들 중 적어도 일부는 (프로세서들을 포함하는 기계들의 예들로서) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이러한 동작들은 네트워크(예를 들어, 인터넷)를 통해 그리고 하나 이상의 적절한 인터페이스들(예를 들어, 애플리케이션 프로그램 인터페이스(API))을 통해 액세스 가능하다.
특정 동작들의 성능은 단일 기계 내에만 존재하는 것이 아니라 다수의 기계들에 걸쳐 배치된 하나 이상의 프로세서들 중에 분산될 수 있다. 일부 예시적인 실시예들에서, 하나 이상의 프로세서들 또는 프로세서-구현된 모듈들은 단일 지리적 위치에(예를 들어, 홈 환경 내에, 사무실 환경 내에, 또는 서버 팜 내에) 위치될 수 있다. 다른 예시적인 실시예들에서, 하나 이상의 프로세서들 또는 프로세서-구현된 모듈들은 다수의 지리적 위치들에 걸쳐 분산될 수 있다.
본 명세서에서 논의된 주제의 어떤 부분들은 기계 메모리(예를 들어, 컴퓨터 메모리) 내에 비트들 또는 이진 디지털 신호들로서 저장된 데이터에 대한 연산들의 알고리즘 또는 기호적 표현들의 관점에서 제시된다. 그러한 알고리즘들 또는 기호적 표현들은 데이터 처리 분야의 통상의 기술자가 다른 통상의 기술자들에게 그들의 작업의 본질을 전달하기 위해 이용하는 기법들의 예들이다. 본 명세서에서 사용된 바와 같이, "알고리즘"은 원하는 결과를 이끌어내는 일관성 있는 동작들의 시퀀스 또는 유사한 처리이다. 이러한 맥락에서, 알고리즘들 및 동작들은 물리량들의 물리적 조작을 수반한다. 일반적으로, 반드시 그렇지는 않지만, 그러한 양들은 기계에 의해 저장, 액세스, 전송, 결합, 비교, 또는 달리 조작될 수 있는 전기, 자기, 또는 광학 신호들의 형태를 취할 수 있다. 주로 통상적인 사용 때문에, 그러한 신호들을 예컨대, "데이터", "콘텐츠", "비트들", "값들", "요소들", "심볼들", "문자들", "용어들", "숫자들", "수치들", 또는 그와 유사한 것들 등의 단어들을 이용하여 지칭하는 것이 때때로 편리하다. 그러나, 이러한 단어들은 단지 편리한 레이블들이고, 적절한 물리량들과 연관되는 것이다.
특별히 달리 진술되지 않는 한, 예컨대, "처리", "컴퓨팅", "계산", "결정", "제시", "표시", 또는 그와 유사한 것 등의 단어를 이용한 본 명세서에서의 논의는, 하나 이상의 메모리들(예를 들어, 휘발성 메모리, 비휘발성 메모리, 또는 그들의 임의의 적합한 조합), 레지스터들, 또는 정보를 수신, 저장, 송신, 또는 표시하는 다른 기계 컴포넌트들 내의 물리(예를 들어, 전자적, 자기적, 또는 광학적)량들로서 표현되는 데이터를 조작 또는 변환하는 기계(예를 들어, 컴퓨터)의 동작들 또는 프로세스들을 지칭할 수 있다. 또한, 특히 달리 진술되지 않는 한, 용어들("a" 또는 "an")은 특허 문서들에서 통상적인 바와 같이, 하나 또는 하나 초과의 사례를 포함하도록 본 명세서에서 사용된다. 마지막으로, 본 명세서에 사용된 바와 같이, 접속사 "또는(or)"은 특별히 달리 진술되지 않는 한, 비배타적인 "또는(or)"을 지칭한다.

Claims (20)

  1. 방법으로서,
    컴퓨팅 장치에 의해, 제1 물리적 객체의 이미지를 캡처하는 단계 - 상기 이미지는 상기 컴퓨팅 장치의 광학 센서를 이용하여 캡처됨 - ;
    상기 컴퓨팅 장치에 의해, 상기 이미지를 상기 컴퓨팅 장치에 의해 보유되는 주요 콘텐츠 데이터세트에 포함된 이미지들과 비교하여 비교 결과를 산출하는 단계 - 상기 주요 콘텐츠 데이터세트는 원격 서버로부터 상기 컴퓨팅 장치에 의해 수신되고, 상기 주요 콘텐츠 데이터세트는 상기 원격 서버가 보유하는 전체 콘텐츠 데이터세트의 서브세트이고, 상기 주요 콘텐츠 데이터세트 내의 각 이미지는 대응하는 가상 콘텐츠와 함께 상기 컴퓨팅 장치에 의해 저장됨 - ;
    상기 비교 결과에 기초하여, 상기 컴퓨팅 장치에 의해 보유되는 주요 콘텐츠 데이터세트가 상기 컴퓨팅 장치에 의해 캡처된 이미지를 포함하지 않는다는 것을 결정하는 단계;
    상기 주요 콘텐츠 데이터세트가 상기 컴퓨팅 장치에 의해 캡처된 이미지를 포함하지 않는다는 것을 결정하는 것에 응답하여, 상기 이미지를 상기 원격 서버로 전송하고, 상기 원격 서버로 하여금 상기 이미지를 원격 서버에 의해 보유되는 전체 콘텐츠 데이터세트에 포함된 이미지와 비교하게 하는 단계 - 상기 전체 콘텐츠 데이터세트 내의 각 이미지는 대응하는 가상 콘텐츠와 함께 상기 원격 서버에 의해 저장됨; 및
    상기 원격 서버로부터, 상기 컴퓨팅 장치에 의해 캡처된 이미지와 일치하는 전체 콘텐츠 데이터세트의 이미지에 대응하는 가상 콘텐츠를 수신하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 컴퓨팅 장치의 디스플레이 상에 상기 가상 콘텐츠를 제시하는 단계를 더 포함하고,
    상기 가상 콘텐츠는 상기 컴퓨팅 장치의 디스플레이 상에 동시에 제시되는 제1 물리적 객체의 라이브(live) 이미지 상에 디스플레이되는, 방법.
  3. 제1항에 있어서,
    상기 컴퓨팅 장치는 투명 디스플레이를 포함하며 머리에 착용하는 뷰잉 장치(head-mounted viewing device)이고, 상기 머리에 착용하는 뷰잉 장치는, 상기 머리에 착용하는 뷰잉 장치를 착용한 사용자로 하여금 상기 투명 디스플레이 상에 제시되는 콘텐츠를 보게 하면서 상기 투명 디스플레이를 통해 보이는 물리적 객체를 볼 수 있게 하고,
    상기 방법은,
    상기 제1 물리적 객체의 사용자의 뷰(view)와 중첩되는 상기 투명 디스플레이의 위치에 상기 가상 콘텐츠를 제시하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서,
    상기 주요 콘텐츠 데이터세트를 상기 원격 서버로부터 수신하는 단계 - 상기 주요 콘텐츠 데이터세트는 복수의 컴퓨팅 장치에 의해 가장 공통적으로 캡처된 전체 콘텐츠 데이터세트의 이미지들을 포함함 - ; 및
    상기 컴퓨팅 장치의 로컬 메모리에 상기 주요 콘텐츠 데이터세트를 저장하는 단계
    를 더 포함하는, 방법.
  5. 제4항에 있어서,
    상기 주요 콘텐츠 데이터세트에 대응하는 가상 콘텐츠의 세트를 상기 원격 서버로부터 수신하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서,
    제2 물리적 객체의 이미지를 캡처하는 단계 - 상기 제2 물리적 객체는 상기 제1 물리적 객체와 상이함 - ;
    상기 제2 물리적 객체의 이미지를 상기 주요 콘텐츠 데이터세트에 포함된 이미지들과 비교하여 제2 비교 결과를 산출하는 단계;
    상기 제2 비교 결과에 기초하여, 상기 제2 물리적 객체의 이미지가 상기 주요 콘텐츠 데이터세트의 제1 이미지와 일치하는지 결정하는 단계; 및
    상기 컴퓨팅 장치의 디스플레이 상에 상기 주요 콘텐츠 데이터세트의 제1 이미지에 대응하는 가상 콘텐츠를 제시하는 단계
    를 더 포함하는, 방법.
  7. 제1항에 있어서,
    상기 이미지를 상기 주요 콘텐츠 데이터세트에 포함된 이미지들과 비교하는 것은,
    상기 이미지에서 캡처된 시각적 기준을 식별하는 것; 및
    상기 이미지에 캡처된 시각적 기준을 상기 주요 콘텐츠 데이터세트에 포함 된 이미지들에서 캡처된 시각적 기준들과 비교하는 것
    을 포함하는 방법.
  8. 컴퓨팅 장치로서,
    하나 이상의 컴퓨터 프로세서; 및
    명령어들을 저장하는 하나 이상의 컴퓨터 판독가능 매체
    를 포함하고,
    상기 명령어들은 상기 하나 이상의 컴퓨터 프로세서에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금 동작들을 수행하게 하고, 상기 동작들은,
    제1 물리적 객체의 이미지를 캡처하는 동작 - 상기 이미지는 상기 컴퓨팅 장치의 광학 센서를 이용하여 캡처됨 - ;
    상기 이미지를 상기 컴퓨팅 장치에 의해 보유되는 주요 콘텐츠 데이터세트에 포함된 이미지들과 비교하여 비교 결과를 산출하는 동작 - 상기 주요 콘텐츠 데이터세트는 원격 서버로부터 상기 컴퓨팅 장치에 의해 수신되고, 상기 주요 콘텐츠 데이터세트는 상기 원격 서버가 보유하는 전체 콘텐츠 데이터세트의 서브세트이고, 상기 주요 콘텐츠 데이터세트 내의 각 이미지는 대응하는 가상 콘텐츠와 함께 상기 컴퓨팅 장치에 의해 저장됨 - ;
    상기 비교 결과에 기초하여, 상기 컴퓨팅 장치에 의해 보유되는 주요 콘텐츠 데이터세트가 상기 컴퓨팅 장치에 의해 캡처된 이미지를 포함하지 않는다는 것을 결정하는 동작;
    상기 주요 콘텐츠 데이터세트가 상기 컴퓨팅 장치에 의해 캡처된 이미지를 포함하지 않는다는 것을 결정하는 것에 응답하여, 상기 이미지를 상기 원격 서버로 전송하고, 상기 원격 서버로 하여금 상기 이미지를 원격 서버에 의해 보유되는 전체 콘텐츠 데이터세트에 포함된 이미지와 비교하게 하는 동작 - 상기 전체 콘텐츠 데이터세트 내의 각 이미지는 대응하는 가상 콘텐츠와 함께 상기 원격 서버에 의해 저장됨; 및
    상기 원격 서버로부터, 상기 컴퓨팅 장치에 의해 캡처된 이미지와 일치하는 전체 콘텐츠 데이터세트의 이미지에 대응하는 가상 콘텐츠를 수신하는 동작
    을 포함하는, 컴퓨팅 장치.
  9. 제8항에 있어서,
    상기 동작들은 상기 컴퓨팅 장치의 디스플레이 상에 상기 가상 콘텐츠를 제시하는 동작을 더 포함하고,
    상기 가상 콘텐츠는 상기 컴퓨팅 장치의 디스플레이 상에 동시에 제시되는 제1 물리적 객체의 라이브(live) 이미지 상에 디스플레이되는, 컴퓨팅 장치.
  10. 제8항에 있어서,
    상기 컴퓨팅 장치는 투명 디스플레이를 포함하며 머리에 착용하는 뷰잉 장치(head-mounted viewing device)이고, 상기 머리에 착용하는 뷰잉 장치는, 상기 머리에 착용하는 뷰잉 장치를 착용한 사용자로 하여금 상기 투명 디스플레이 상에 제시되는 콘텐츠를 보게 하면서 상기 투명 디스플레이를 통해 보이는 물리적 객체를 볼 수 있게 하고,
    상기 동작들은,
    상기 제1 물리적 객체의 사용자의 뷰(view)와 중첩되는 상기 투명 디스플레이의 위치에 상기 가상 콘텐츠를 제시하는 동작을 더 포함하는, 컴퓨팅 장치.
  11. 제8항에 있어서,
    상기 동작들은,
    상기 주요 콘텐츠 데이터세트를 상기 원격 서버로부터 수신하는 동작- 상기 주요 콘텐츠 데이터세트는 복수의 컴퓨팅 장치에 의해 가장 공통적으로 캡처된 전체 콘텐츠 데이터세트의 이미지들을 포함함 - ; 및
    상기 컴퓨팅 장치의 로컬 메모리에 상기 주요 콘텐츠 데이터세트를 저장하는 동작
    을 더 포함하는, 컴퓨팅 장치.
  12. 제11항에 있어서,
    상기 동작들은,
    상기 주요 콘텐츠 데이터세트에 대응하는 가상 콘텐츠의 세트를 상기 원격 서버로부터 수신하는 동작을 더 포함하는, 컴퓨팅 장치.
  13. 제8항에 있어서,
    상기 동작들은,
    제2 물리적 객체의 이미지를 캡처하는 동작 - 상기 제2 물리적 객체는 상기 제1 물리적 객체와 상이함 - ;
    상기 제2 물리적 객체의 이미지를 상기 주요 콘텐츠 데이터세트에 포함된 이미지들과 비교하여 제2 비교 결과를 산출하는 동작;
    상기 제2 비교 결과에 기초하여, 상기 제2 물리적 객체의 이미지가 상기 주요 콘텐츠 데이터세트의 제1 이미지와 일치하는지 결정하는 동작; 및
    상기 컴퓨팅 장치의 디스플레이 상에 상기 주요 콘텐츠 데이터세트의 제1 이미지에 대응하는 가상 콘텐츠를 제시하는 동작
    을 더 포함하는, 컴퓨팅 장치.
  14. 제8항에 있어서,
    상기 이미지를 상기 주요 콘텐츠 데이터세트에 포함된 이미지들과 비교하는 것은,
    상기 이미지에서 캡처된 시각적 기준을 식별하는 것; 및
    상기 이미지에 캡처된 시각적 기준을 상기 주요 콘텐츠 데이터세트에 포함 된 이미지들에서 캡처된 시각적 기준들과 비교하는 것
    을 포함하는, 컴퓨팅 장치.
  15. 명령어들을 저장하는 비일시적인 컴퓨터 판독가능 매체로서,
    상기 명령어들은 컴퓨팅 장치의 하나 이상의 컴퓨터 프로세서에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금 동작들을 수행하게 하고, 상기 동작들은,
    제1 물리적 객체의 이미지를 캡처하는 동작 - 상기 이미지는 상기 컴퓨팅 장치의 광학 센서를 이용하여 캡처됨 - ;
    상기 이미지를 상기 컴퓨팅 장치에 의해 보유되는 주요 콘텐츠 데이터세트에 포함된 이미지들과 비교하여 비교 결과를 산출하는 동작 - 상기 주요 콘텐츠 데이터세트는 원격 서버로부터 상기 컴퓨팅 장치에 의해 수신되고, 상기 주요 콘텐츠 데이터세트는 상기 원격 서버가 보유하는 전체 콘텐츠 데이터세트의 서브세트이고, 상기 주요 콘텐츠 데이터세트 내의 각 이미지는 대응하는 가상 콘텐츠와 함께 상기 컴퓨팅 장치에 의해 저장됨 - ;
    상기 비교 결과에 기초하여, 상기 컴퓨팅 장치에 의해 보유되는 주요 콘텐츠 데이터세트가 상기 컴퓨팅 장치에 의해 캡처된 이미지를 포함하지 않는다는 것을 결정하는 동작;
    상기 주요 콘텐츠 데이터세트가 상기 컴퓨팅 장치에 의해 캡처된 이미지를 포함하지 않는다는 것을 결정하는 것에 응답하여, 상기 이미지를 상기 원격 서버로 전송하고, 상기 원격 서버로 하여금 상기 이미지를 원격 서버에 의해 보유되는 전체 콘텐츠 데이터세트에 포함된 이미지와 비교하게 하는 동작 - 상기 전체 콘텐츠 데이터세트 내의 각 이미지는 대응하는 가상 콘텐츠와 함께 상기 원격 서버에 의해 저장됨; 및
    상기 원격 서버로부터, 상기 컴퓨팅 장치에 의해 캡처된 이미지와 일치하는 전체 콘텐츠 데이터세트의 이미지에 대응하는 가상 콘텐츠를 수신하는 동작
    을 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  16. 제15항에 있어서,
    상기 동작들은 상기 컴퓨팅 장치의 디스플레이 상에 상기 가상 콘텐츠를 제시하는 동작을 더 포함하고,
    상기 가상 콘텐츠는 상기 컴퓨팅 장치의 디스플레이 상에 동시에 제시되는 제1 물리적 객체의 라이브(live) 이미지 상에 디스플레이되는, 비일시적인 컴퓨터 판독가능 매체.
  17. 제15항에 있어서,
    상기 컴퓨팅 장치는 투명 디스플레이를 포함하며 머리에 착용하는 뷰잉 장치(head-mounted viewing device)이고, 상기 머리에 착용하는 뷰잉 장치는, 상기 머리에 착용하는 뷰잉 장치를 착용한 사용자로 하여금 상기 투명 디스플레이 상에 제시되는 콘텐츠를 보게 하면서 상기 투명 디스플레이를 통해 보이는 물리적 객체를 볼 수 있게 하고,
    상기 동작들은,
    상기 제1 물리적 객체의 사용자의 뷰(view)와 중첩되는 상기 투명 디스플레이의 위치에 상기 가상 콘텐츠를 제시하는 동작을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  18. 제15항에 있어서,
    상기 동작들은,
    상기 주요 콘텐츠 데이터세트 및 상기 주요 콘텐츠 데이터세트에 대응하는 가상 콘텐츠의 세트를 상기 원격 서버로부터 수신하는 동작- 상기 주요 콘텐츠 데이터세트는 복수의 컴퓨팅 장치에 의해 가장 공통적으로 캡처된 전체 콘텐츠 데이터세트의 이미지들을 포함함 - ; 및
    상기 컴퓨팅 장치의 로컬 메모리에 상기 주요 콘텐츠 데이터세트 및 상기 가상 콘텐츠의 세트를 저장하는 동작
    을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  19. 제15항에 있어서,
    상기 동작들은,
    제2 물리적 객체의 이미지를 캡처하는 동작 - 상기 제2 물리적 객체는 상기 제1 물리적 객체와 상이함 - ;
    상기 제2 물리적 객체의 이미지를 상기 주요 콘텐츠 데이터세트에 포함된 이미지들과 비교하여 제2 비교 결과를 산출하는 동작;
    상기 제2 비교 결과에 기초하여, 상기 제2 물리적 객체의 이미지가 상기 주요 콘텐츠 데이터세트의 제1 이미지와 일치하는지 결정하는 동작; 및
    상기 컴퓨팅 장치의 디스플레이 상에 상기 주요 콘텐츠 데이터세트의 제1 이미지에 대응하는 가상 콘텐츠를 제시하는 동작
    을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  20. 제15항에 있어서,
    상기 이미지를 상기 주요 콘텐츠 데이터세트에 포함된 이미지들과 비교하는 것은,
    상기 이미지에서 캡처된 시각적 기준을 식별하는 것; 및
    상기 이미지에 캡처된 시각적 기준을 상기 주요 콘텐츠 데이터세트에 포함 된 이미지들에서 캡처된 시각적 기준들과 비교하는 것
    을 포함하는, 비일시적인 컴퓨터 판독가능 매체.
KR1020157029890A 2013-03-15 2014-03-12 상황 로컬 이미지 인식 데이터세트 KR102257826B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/839,818 2013-03-15
US13/839,818 US9070217B2 (en) 2013-03-15 2013-03-15 Contextual local image recognition dataset
PCT/US2014/024625 WO2014150947A1 (en) 2013-03-15 2014-03-12 Contextual local image recognition dataset

Publications (2)

Publication Number Publication Date
KR20150130558A KR20150130558A (ko) 2015-11-23
KR102257826B1 true KR102257826B1 (ko) 2021-05-28

Family

ID=51525707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157029890A KR102257826B1 (ko) 2013-03-15 2014-03-12 상황 로컬 이미지 인식 데이터세트

Country Status (7)

Country Link
US (5) US9070217B2 (ko)
EP (2) EP2974338A4 (ko)
JP (1) JP2016521391A (ko)
KR (1) KR102257826B1 (ko)
AU (1) AU2014235484B2 (ko)
NZ (1) NZ713286A (ko)
WO (1) WO2014150947A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070217B2 (en) 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
WO2014145193A1 (en) * 2013-03-15 2014-09-18 Nexref Technologies, Llc Marker-based augmented reality (ar) display with inventory management
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
US10146300B2 (en) 2017-01-25 2018-12-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Emitting a visual indicator from the position of an object in a simulated reality emulation
US10306011B2 (en) * 2017-01-31 2019-05-28 International Business Machines Corporation Dynamic modification of image resolution
US10949667B2 (en) * 2017-09-14 2021-03-16 Ebay Inc. Camera platform and object inventory control
WO2019053509A2 (en) * 2017-09-18 2019-03-21 Orcam Technologies Ltd. USER-ENHANCED CLUTCH CAMERA SYSTEM WITH VARIABLE IMAGE PROCESSING
KR102041987B1 (ko) * 2017-10-23 2019-11-07 전자부품연구원 단일 추론 다중 레이블 생성 기반의 객체 인식 장치 및 방법
US10628662B2 (en) 2018-04-05 2020-04-21 International Business Machines Corporation Automated and unsupervised curation of image datasets
US11698927B2 (en) * 2018-05-16 2023-07-11 Sony Interactive Entertainment LLC Contextual digital media processing systems and methods
US10810430B2 (en) 2018-12-27 2020-10-20 At&T Intellectual Property I, L.P. Augmented reality with markerless, context-aware object tracking
JP6720385B1 (ja) * 2019-02-07 2020-07-08 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
CN110312142A (zh) * 2019-07-23 2019-10-08 东华大学 一种基于5g技术的ar直播系统
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
US11196842B2 (en) 2019-09-26 2021-12-07 At&T Intellectual Property I, L.P. Collaborative and edge-enhanced augmented reality systems
JP7079287B2 (ja) * 2019-11-07 2022-06-01 株式会社スクウェア・エニックス 鑑賞システム、モデル構成装置、制御方法、プログラム及び記録媒体
CN113454668A (zh) * 2019-11-18 2021-09-28 混合现实解决方案私人有限公司 被配置为使得能够经由增强现实递送系统监测用户对物理印刷材料的参与的技术
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
US10777017B1 (en) * 2020-01-24 2020-09-15 Vertebrae Inc. Augmented reality presentation using a uniform resource identifier
US20220335661A1 (en) * 2020-02-28 2022-10-20 Google Llc System and method for playback of augmented reality content triggered by image recognition
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181748A (ja) * 2011-03-02 2012-09-20 Dainippon Printing Co Ltd 図柄表示具、及び合成画像表示システム
JP2013025327A (ja) * 2011-07-14 2013-02-04 Ntt Docomo Inc オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879946B2 (en) * 1999-11-30 2005-04-12 Pattern Discovery Software Systems Ltd. Intelligent modeling, transformation and manipulation system
GB2383153A (en) * 2001-12-17 2003-06-18 Hemera Technologies Inc Search engine for computer graphic images
US7398481B2 (en) 2002-12-10 2008-07-08 Science Applications International Corporation (Saic) Virtual environment capture
US8524736B2 (en) * 2004-01-07 2013-09-03 Armetheon, Inc. Stereoisomeric compounds and methods for the treatment of gastrointestinal and central nervous system disorders
US7705858B2 (en) * 2004-10-06 2010-04-27 Apple Inc. Techniques for displaying digital images on a display
EP1887526A1 (en) 2006-08-11 2008-02-13 Seac02 S.r.l. A digitally-augmented reality video system
FR2911707B1 (fr) 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
JP2008210276A (ja) * 2007-02-27 2008-09-11 Canon Inc 三次元モデル情報の生成方法及び装置
US7844229B2 (en) * 2007-09-21 2010-11-30 Motorola Mobility, Inc Mobile virtual and augmented reality system
US8036416B2 (en) * 2007-11-06 2011-10-11 Palo Alto Research Center Incorporated Method and apparatus for augmenting a mirror with information related to the mirrored contents and motion
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system
US8745494B2 (en) * 2009-05-27 2014-06-03 Zambala Lllp System and method for control of a simulated object that is associated with a physical location in the real world environment
US8502835B1 (en) * 2009-09-02 2013-08-06 Groundspeak, Inc. System and method for simulating placement of a virtual object relative to real world objects
KR101229078B1 (ko) 2009-12-21 2013-02-04 한국전자통신연구원 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
KR101135186B1 (ko) 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US8803992B2 (en) * 2010-05-12 2014-08-12 Fuji Xerox Co., Ltd. Augmented reality navigation for repeat photography and difference extraction
JP6000954B2 (ja) * 2010-09-20 2016-10-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ クラウド支援型拡張現実のための適応可能なフレームワーク
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
KR101236919B1 (ko) * 2010-10-29 2013-02-28 에스케이플래닛 주식회사 위치 기반 사진 합성 시스템, 장치와 단말기 및 방법
JP2012190085A (ja) * 2011-03-08 2012-10-04 Mti Ltd マーカー認識処理装置、認識処理プログラム及び認識処理方法
US9547938B2 (en) * 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US8341245B1 (en) * 2011-09-26 2012-12-25 Google Inc. Content-facilitated speculative preparation and rendering
IN2014CN03530A (ko) * 2011-11-08 2015-07-03 Vidinoti Sa
US9734633B2 (en) * 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
GB2501567A (en) * 2012-04-25 2013-10-30 Christian Sternitzke Augmented reality information obtaining system
US9064326B1 (en) * 2012-05-10 2015-06-23 Longsand Limited Local cache of augmented reality content in a mobile computing device
US8743224B2 (en) * 2012-07-13 2014-06-03 Intel Corporation Context based management for secure augmented reality applications
US9070217B2 (en) 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
US9401048B2 (en) * 2013-03-15 2016-07-26 Qualcomm Incorporated Methods and apparatus for augmented reality target detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181748A (ja) * 2011-03-02 2012-09-20 Dainippon Printing Co Ltd 図柄表示具、及び合成画像表示システム
JP2013025327A (ja) * 2011-07-14 2013-02-04 Ntt Docomo Inc オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法

Also Published As

Publication number Publication date
US9070217B2 (en) 2015-06-30
JP2016521391A (ja) 2016-07-21
US11024087B2 (en) 2021-06-01
EP2974338A1 (en) 2016-01-20
AU2014235484A1 (en) 2015-11-05
US11710279B2 (en) 2023-07-25
US20190147663A1 (en) 2019-05-16
WO2014150947A1 (en) 2014-09-25
US20210248830A1 (en) 2021-08-12
KR20150130558A (ko) 2015-11-23
AU2014235484B2 (en) 2017-10-12
US10210663B2 (en) 2019-02-19
NZ713286A (en) 2018-02-23
US20150371448A1 (en) 2015-12-24
US9613462B2 (en) 2017-04-04
US20140267792A1 (en) 2014-09-18
EP2974338A4 (en) 2016-07-27
EP3840393A1 (en) 2021-06-23
US20170169619A1 (en) 2017-06-15

Similar Documents

Publication Publication Date Title
US11710279B2 (en) Contextual local image recognition dataset
US10147239B2 (en) Content creation tool
US9760777B2 (en) Campaign optimization for experience content dataset
US9607584B2 (en) Real world analytics visualization

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant