KR101743858B1 - 증강 현실 타겟 검출을 위한 방법들 및 장치 - Google Patents

증강 현실 타겟 검출을 위한 방법들 및 장치 Download PDF

Info

Publication number
KR101743858B1
KR101743858B1 KR1020157028282A KR20157028282A KR101743858B1 KR 101743858 B1 KR101743858 B1 KR 101743858B1 KR 1020157028282 A KR1020157028282 A KR 1020157028282A KR 20157028282 A KR20157028282 A KR 20157028282A KR 101743858 B1 KR101743858 B1 KR 101743858B1
Authority
KR
South Korea
Prior art keywords
user
resolution frame
content
image target
target
Prior art date
Application number
KR1020157028282A
Other languages
English (en)
Other versions
KR20150127683A (ko
Inventor
줄리아노 마치오치
앤드류 제이 에버릿
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150127683A publication Critical patent/KR20150127683A/ko
Application granted granted Critical
Publication of KR101743858B1 publication Critical patent/KR101743858B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H04N5/23245—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

사용자들이 볼 수도 있는 임의의 이미지 타겟들과 연결된 AR 컨텐츠를 사용자들에게 알리기 위해 타겟-기반 증강 현실 (AR) 디바이스들이 타겟들의 저전력 프런트-엔드 패시브 스캐닝을 수행하는 시스템들 및 방법들이 개시된다. AR 디바이스들에 의한 패시브 스캐닝은 사용자들이 AR 이미지 타겟 식별을 위해 카메라를 수동으로 작동시킬 필요성이 없애고, 사용자들이 모르고 볼 수도 있는 이미지 타겟들을 식별하는 것을 돕는다. 전력을 절약하기 위해, AR 디바이스들은 사용자들 소정의 타겟들에 관심이 있을 수도 있거나 주의깊은 상태에 있음을 암시하는 사용자의 모션 움직임들을 AR 디바이스들이 검출하는 경우, AR 디바이스들은 탐색 스캔들을 수행하도록 카메라를 자율적으로 작동시킬 수도 있다. AR 디바이스들은 탐색 스캔들로부터 하나 이상의 이미지 타겟들을 식별할 수도 있다. 사용자들이 AR 컨텐츠와 상호작용하기를 택하는 경우, AR 디바이스들은 AR 컨텐츠를 증강시키기 위해 이미지 타겟들의 풀 캡쳐 또는 실시간 추적을 수행하도록 카메라를 작동시킬 수도 있다.

Description

증강 현실 타겟 검출을 위한 방법들 및 장치{METHODS AND APPARATUS FOR AUGMENTED REALITY TARGET DETECTION}
본 출원은 일반적으로 사용자-착용 컴퓨터 시스템들에 관한 것이다. 특히, 본 출원은 증강-현실 (AR) 디바이스들에서 타겟들을 스캐닝하고 식별하기 위한 방법들 및 시스템들에 관한 것이다.
타겟-기반 증강-현실 (augmented-reality; AR) 디바이스들은 실시간으로 디바이스들에 의해 식별되는 이미지 타겟들에 연결된 정보를 사용자들이 보는 것을 허용한다. 일 유형의 AR 디바이스들은 투시 (see-through) 헤드 마운티드 디스플레이 (head mounted display; HMD) 이다. 머리에 착용되거나 헬멧의 일부분인 투시 HMD 는 디스플레이 디바이스이며, 여기서 컴퓨터 발생된 이미지들은 부분적으로 반사경에 투영되어 사용자들에게 동시적인 실-세계 뷰를 제공한다. 예를 들어, 쇼핑객에 의해 착용된 카메라-인에이블드 HMD 는 쇼핑객의 시계에서 제품들의 이미지 타겟들을 식별할 수도 있고 쇼핑객에게 그러한 제품들에 대한 정보를 디스플레이할 수도 있다. 유사하게, 사용자에 의해 착용되는 신체 장착된 카메라는 사용자의 부근의 타겟들을 추적할 수도 있고 사용자에 의해 보기 위해 카메라에 연결된 스마트폰에 타겟들에 대한 AR 정보를 디스플레이할 수도 있다.
통상적으로, 타겟-기반 AR 은 이미지 타겟들을 식별하기 위해 사용자들로부터의 참여를 요구하는 능동적인 경험이다. 예를 들어, 타겟-기반 AR 디바이스 상에서 AR 애플리케이션을 실행하는 사용자는 통상적으로 카메라가 타겟을 가리키게 하고 타겟을 스캐닝하도록 카메라를 작동시킨다. 타겟의 이미지 또는 지문이 취해지고 타겟 식별을 위해 디바이스-기반 타겟 데이터베이스 또는 클라우드-기반 타겟 데이터베이스와 비교된다. 매치가 있는 경우, 타겟-기반 AR 디바이스는 식별된 이미지 타겟과 연결된 AR 컨텐츠를 검색하고 AR 디바이스의 스크린 상에 AR 컨텐츠를 제공한다. 사용자-작동된 타겟 식별의 한 가지 단점은 AR 이미지 타겟들이 그와 같이 명확하게 라벨링되지 않는 한은, 타겟들이 AR 컨텐츠를 가지고 있는지를 사용자들이 모른다는 것이다. 사실, 사용자는 일반적으로, 무작위의 잡지 표지, 사진, 포스터, 로고, 또는 인쇄 광고와 같은 임의의 무작위의 타겟이 타겟에 연결된 AR 컨텐츠를 가지고 있을 가능성이 매우 낮다는 것을 알고 있다. 따라서, 사용자들이 잠재적인 이미지 타겟들을 스캐닝하기 위해 카메라들을 작동시키는 것이 단념시켜질 수도 있다.
반대로, AR 이미지 타겟들을 그와 같이 라벨링하는 것은 타겟-기반 AR 의 목적을 무산시키는데, 그렇게 하면, 타겟들의 이미지 라벨링이 QR 코드들과 같이 이미지-대-컨텐츠 연결하기의 다른 형태가 되기 때문이다. 이미지 타겟 식별을 작동시킬 필요성으로부터 사용자들을 자유롭게 하는 하나의 방법은 카메라-인에이블드 HDM 들 또는 다른 사용자-착용 카메라 시스템들이 AR 이미지 타겟들의 식별을 위해 타겟들을 자율적으로, 계속해서 스캐닝하는 것이다. 그러나, 카메라를 실행시키는 것, 이미지 타겟들을 통신하는 것, 및 계속적인 기준으로 이미지 타겟들을 식별하는 것을 위한 전력 요구사항은 이러한 해결책을 제한된 배터리 용량을 갖는 HMD 들 및 사용자-착용 카메라들에 대해서는 실행할 수 없게 한다. 그에 따라, 타겟-기반 AR 디바이스들이 자율적인, 저-전력 AR 이미지 타겟 스캐닝 및 식별을 제공할 필요가 있다.
사용자들이 볼 수도 있는 임의의 f이미지 타겟들과 연결된 (link) AR 컨텐츠를 사용자들에게 알리기 위해 타겟-기반 AR 디바이스들이 타겟들의 저-전력 프런트-엔드 패시브 (front-end passive) 스캐닝을 수행하는 시스템들 및 방법들이 개시된다. AR 디바이스들에 의한 패시브 스캐닝은 사용자들이 AR 이미지 타겟 식별을 위해 카메라를 수동으로 작동시킬 필요성을 없애고, 사용자들이 모르고 볼 수도 있는 이미지 타겟들을 식별하는 것을 돕는다. 전력을 절약하기 위해, AR 디바이스들이 사용자들의 움직임 패턴들로부터 사용자들이 소정의 타겟들에 관심이 있을 수도 있거나 주의깊은 상태에 있음을 암시한다고 (suggest) 검출하는 경우, AR 디바이스들은 탐색 스캔을 수행하기 위해 카메라를 자율적으로 작동시킬 수도 있다. AR 디바이스들은 탐색 스캔들로부터 하나 이상의 이미지 타겟들을 사전에 식별할 수도 있다. 사용자들이 이미지 타겟들과 연결된 AR 컨텐츠와 상호작용할 것을 택하는 경우, AR 디바이스들은 AR 컨텐츠를 증강시키기 위해 이미지 타겟들의 풀 캡쳐 또는 실시간 추적을 수행하도록 카메라를 작동시킬 수도 있다. 유리하게는, 사용자들이 AR 이미지 타겟들에 대해 적극적으로 조사할 필요성이 없어진다. 또한, 사용자가 AR 경험을 할 준비가 된 경우, 사용자의 움직임 패턴들에 뒤이어 풀 캡쳐의 검출들 시에 이미지 타겟들의 저-전력 탐색 스캔을 작동시킴으로써, AR 디바이스의 배터리 전력이 절약된다.
AR 디바이스가 AR 타겟들을 검출하고 디스플레이하기 위한 방법이 개시된다. 방법은 AR 디바이스에 의해 사용자가 제 1 상태에 있다고 검출하는 단계를 포함한다. 그러한 상태를 검출할 시에, 방법은 AR 디바이스에 의해 사용자의 시계 (field of view) 의 저 해상도 프레임을 캡쳐하는 단계를 포함한다. 방법은 저 해상도 프레임으로부터 이미지 타겟을 식별하는 단계 및 이미지 타겟이 연결된 AR 컨텐츠를 갖는다고 결정하는 단계를 더 포함한다. 방법은 이미지 타겟이 이용가능하다고 사용자에게 알리는 (alert) 단계를 더 포함한다. 방법은 AR 디바이스에 의해 사용자가 연결된 AR 컨텐츠와 상호작용하기를 원하는지 여부에 관해 사용자로부터 커맨드를 수신하는 단계를 더 포함한다. 사용자가 연결된 AR 컨텐츠와 상호작용하기를 원하는 경우, 방법은 AR 디바이스에 의해 사용자의 시계의 풀 해상도 프레임을 캡쳐하는 단계를 더 포함한다. 방법은 AR 디바이스에 의해 사용자에게 연결된 AR 컨텐츠를 디스플레이하는 단계를 더 포함한다.
AR 타겟 검출을 위한 장치가 개시된다. 장치는 AR 타겟들을 검출하여 디스플레이하도록 구성된 장치, 카메라, 메모리, 및 하나 이상의 프로세서들의 모션을 기록하는데 (register) 이용되는 센서를 포함한다. 프로세서들은 장치의 움직임 패턴을 검출하기 위해 센서를 폴링하도록 (poll) 구성된다. 그러한 움직임 패턴의 검출 시에, 프로세서들은 또한 카메라의 시계의 저 해상도 프레임을 캡쳐하도록 카메라를 작동시키도록 구성된다. 프로세서들은 저 해상도 프레임으로부터 이미지 타겟을 식별하고, 이미지 타겟이 연결된 AR 컨텐츠를 갖는다고 결정하도록 더 구성된다. 프로세서들은 이미지 타겟이 이용가능하다고 사용자에게 알리도록 더 구성된다. 프로세서들은 사용자가 연결된 AR 컨텐츠와 상호작용하기를 원하는지 여부에 관해 사용자로부터 커맨드를 수신하도록 더 구성된다. 사용자가 연결된 AR 컨텐츠와 상호작용하기를 원하는 경우, 프로세서들은 카메라의 시계의 풀 해상도 프레임을 캡쳐하도록 카메라를 작동시키도록 더 구성된다.
머신-판독가능 명령들을 저장하는 비일시적 머신-판독가능 매체가 개시된다. 하나 이상의 프로세서들은 AR 컨텐츠를 검출하여 디스플레이하기 위한 단계들을 수행하기 위한 명령들을 실행할 수도 있다. 명령들은 사용자가 제 1 상태에 있다고 검출하는 것을 포함한다. 명령들은 또한 사용자가 제 1 상태에 있다고 검출할 시에 사용자의 시계의 저 해상도 프레임을 캡쳐하는 것을 포함한다. 명령들은 저 해상도 프레임으로부터 이미지 타겟을 식별하고 이미지 타겟이 연결된 AR 컨텐츠를 갖는다고 결정하는 것을 더 포함한다. 명령들은 이미지 타겟이 이용가능하다고 사용자에게 알리는 것을 더 포함한다. 명령들은 사용자가 연결된 AR 컨텐츠와 상호작용하기를 원하는지 여부에 관해 사용자로부터 커맨드를 수신하는 것을 더 포함한다. 사용자가 연결된 AR 컨텐츠와 상호작용하기를 원하는 경우, 명령들은 AR 디바이스에 의해 사용자의 시계의 풀 해상도 프레임을 캡쳐하는 것을 더 포함한다. 명령들은 사용자에게 연결된 AR 컨텐츠를 제공하는 것을 더 포함한다.
AR 컨텐츠를 검출하여 디스플레이하기 위한 시스템이 개시된다. 시스템은 사용자가 제 1 상태에 있다고 검출하는 수단을 포함한다. 시스템은 또한 사용자가 제 1 상태에 있다고 검출할 시에 사용자의 시계의 저 해상도 프레임을 캡쳐하는 수단을 포함한다. 시스템은 저 해상도 프레임으로부터 이미지 타겟을 식별하고 이미지 타겟이 연결된 AR 컨텐츠를 갖는다고 결정하는 수단을 더 포함한다. 시스템은 이미지 타겟이 이용가능하다고 사용자에게 알리는 수단을 더 포함한다. 시스템은 사용자가 연결된 AR 컨텐츠와 상호작용하기를 원하는지 여부에 관해 사용자로부터 커맨드를 수신하는 수단을 더 포함한다. 사용자가 연결된 AR 컨텐츠와 상호작용하기를 원하는 경우, 시스템은 사용자의 시계의 풀 해상도 프레임을 캡쳐하는 수단을 더 포함한다. 시스템은 사용자에게 연결된 AR 컨텐츠를 제공하는 수단을 더 포함한다.
도 1 은 본 개시물의 청구물의 일 실시형태에 따른 이미지 타겟들을 스캐닝하여 AR 컨텐츠를 디스플레이하기 위해 타겟-기반 AR 디바이스로서 이용되는 모바일 디바이스에 접속된 HMD 또는 신체-착용 카메라를 도시한다;
도 2a 는 본 개시물의 청구물의 일 실시형태에 따른 타겟들의 저-전력 프런트-엔드 패시브 스캐닝을 이용하여 AR 타겟들을 검출하기 위한 타겟-기반 AR 디바이스에 대한 프로세스의 플로차트의 단계들을 도시한다;
도 2b 는 본 개시물의 청구물의 일 실시형태에 따른 이미지 타겟 식별을 위해 타겟들의 저-전력 프런트-엔드 패시브 스캐닝을 수행하기 위한 타겟-기반 AR 디바이스에 대한 프로세스의 플로차트의 단계들을 도시한다;
도 3 은 본 개시물의 청구물의 일 실시형태에 따른 이미지 타겟에 대한 AR 컨텐츠의 이용가능성을 보여주는 HMD 의 디스플레이의 일 예시적인 시계를 도시한다; 그리고
도 4 는 본 개시물의 청구물의 일 실시형태에 따른 본원에 논의된 하나 이상의 컴포넌트들을 구현하기에 적합한 컴퓨터 시스템의 블록도이다.
본 개시물의 실시형태들 및 실시형태들의 이점들은 뒤따르는 상세한 설명을 참조함으로써 가장 잘 이해될 것이다. 유사한 도면 부호들은 도면들 중 하나 이상의 도면들에 도시된 유사한 엘리먼트들을 식별하는데 이용된다는 것이 이해되어야 한다.
타겟들을 사용자들이 모르고 볼 수 있을지라도, 사용자들이 볼 수도 있는 임의의 이미지 타겟들과 연결된 AR 컨텐츠의 존재를 사용자들에게 알리기 위해 타겟-기반 AR 디바이스들이 타겟들의 저-전력 프런트-엔드 패시브 (front-end passive) 스캐닝을 수행하는 시스템들 및 방법들이 개시된다. 전력을 절약하기 위해, 사용자들이 소정의 타겟들에 관심이 있을 수도 있거나 주의깊은 상태에 있음을 암시하는 모션 (motion) 움직임들을 AR 디바이스들이 검출하는 경우, AR 디바이스들은 탐색 스캔들을 수행하도록 카메라를 작동시킬 수도 있다. 탐색 스캔들로부터 이미지 타겟이 식별된 후에, 사용자들은 이미지 타겟과 연결된 AR 컨텐츠와 상호작용하기 위해 이미지 타겟의 풀 캡쳐 또는 실시간 추적을 수행하도록 카메라를 작동시킬 수도 있다.
AR 디바이스들은 모바일 디바이스에 접속된 HMD 또는 신체-착용 카메라를 포함할 수도 있다. HMD 또는 신체-착용 카메라 상의 가속도계 및/또는 자이로 (gyro) 가 HMD 또는 카메라를 착용하고 있는 사용자의 머리 또는 신체 움직임을 계속해서 추적하는데 이용될 수도 있다. AR 디바이스는 움직임 패턴들을 검출하기 위해 주기적 간격들로 가속도계 및/또는 자이로를 폴링할 수도 있다. 패턴들은 일 모션의 시간 후에 머리 움직임의 정지를 포함할 수도 있다. 가속도계 및/또는 자이로가 일 모션의 기간 후에 여러 폴링 이벤트들에 걸쳐 의미 있는 움직임을 기록하지 않는 경우, 그러한 움직임 패턴은 사용자가 소정의 타겟들을 보거나 소정의 타겟들에 관심이 있을 수도 있다는 것을 AR 디바이스에 암시할 수도 있다. AR 디바이스는 카메라의 시계에서 타겟들의 단일 저-해상도 프레임을 캡쳐하거나 저-프레임 레이트로 타겟들을 추적하도록 카메라를 작동시킬 수도 있다. AR 디바이스는 디바이스-기반 타겟 데이터베이스를 이용하여 임의의 이미지 타겟들을 식별하기 위해 프레임 또는 프레임들에 대해 AR 타겟-매칭 알고리즘을 실행시킬 수도 있다. 대안으로, AR 디바이스는 클라우드-기반 타겟 데이터베이스를 이용한 이미지 타겟 식별을 위해 원격 서버에 프레임 또는 프레임들을 송신할 수도 있다.
이미지 타겟이 식별되는 경우, 그리고 카메라가 작동된 이후로 가속도계 및/또는 자이로가 머리 또는 신체의 움직임들을 검출하지 않은 경우, AR 디바이스는 HMD 를 통해 시각적으로 또는 촉각을 통해 또는 신체-착용 카메라를 통해 오디오 알림들 중 어느 일방으로 AR 컨텐츠가 이용가능하다고 사용자에게 알릴 수도 있다. 하나 이상의 실시형태들에서, 접속된 모바일 디바이스는 AR 컨텐츠의 이용가능성을 사용자에게 통지하기 위해 촉각, 오디오, 또는 비디오 피드백을 제공할 수도 있다. 사용자는 AR 경험과 상호작용하는 선택안을 갖거나 연결된 AR 컨텐츠의 추후의 검색을 위해 이미지 타겟에 표시를 할 수도 있다. 사용자가 결정을 하는 것을 돕기 위해, 캡쳐된 원래의 이미지 타겟의 스냅샷이 HMD 에 의해 또는 신체-착용 카메라에 접속된 모바일 디바이스 상에 디스플레이되어 사용자가 환경에서 올바른 타겟으로 향하도록 할 수도 있다. 사용자는 HMD 사용자 인터페이스를 통해 또는 모바일 디바이스를 통해 AR 디바이스에 커맨드들을 발행할 수도 있다.
사용자가 AR 경험과 상호작용하도록 결정하는 경우, AR 디바이스는 AR 디바이스가 AR 컨텐츠를 증강시키는 것을 허용하기 위해 식별된 이미지 타겟의 풀-해상도 프레임을 캡쳐하도록 카메라를 작동시킬 수도 있다. 예를 들어, 풀-해상도 프레임은 검색될 이미지 타겟의 추가적인 AR 컨텐츠를 가능하게 할 수도 있거나 추가적인 이미지 타겟들의 식별을 가능하게 할 수도 있다. 일 실시형태에서, AR 디바이스는 보다 높은 프레임 레이트로 이미지 타겟을 캡쳐하여 이미지 타겟의 실시간 추적을 가능하게 할 수도 있다. 일 실시형태에서, 모바일 디바이스의 카메라는 신체-착용 카메라로부터 실시간 타겟 추적을 인계받음으로써 AR 컨텐츠 증강 기능을 수행할 수도 있다. 캡쳐된 원래의 이미지 타겟의 스냅샷은 HMD 에 의해 또는 모바일 디바이스 상에 디스플레이되어 사용자가 환경에서 올바른 타겟으로 향하도록 도울 수도 있다. 사용자가 연결된 AR 컨텐츠의 추후의 검색을 위해 이미지 타겟에 표시를 하는 경우, AR 디바이스는 이미지 타겟을 저장할 수도 있다. 사용자가 나중에 AR 경험을 할 준비가 된 경우, 캡쳐된 원래의 이미지 타겟의 스냅샷이 디스플레이되어 사용자가 이미지 타겟으로 향하도록 할 수도 있다.
도 1 은 본 개시물의 청구물의 일 실시형태에 따른 이미지 타겟들을 스캐닝하여 AR 컨텐츠를 디스플레이하기 위해 타겟-기반 AR 디바이스로서 이용되는 모바일 디바이스에 접속된 HMD 또는 신체-착용 카메라를 도시한다. 모바일 디바이스 (102) 는 스마트 폰 (예를 들어, iPhone, Google 폰, 또는 Android, Window Mobile, 또는 다른 운영 체제들을 실행시키는 다른 폰들), 태블릿 컴퓨터 (예를 들어, iPad, Galaxy), 개인용 휴대정보 단말기 (personal digital assistant; PDA), 노트북 컴퓨터, 또는 다양한 다른 유형의 무선 또는 유선 컴퓨팅 디바이스들일 수도 있다. 모바일 디바이스 (102) 는 네트워크 (106) 를 통해 HMD (104) 와 또는 사용자-착용 카메라 (108) 와 통신할 수도 있다.
사용자-착용 카메라 (108) 는 카메라를 착용하고 있는 사용자의 신체 움직임을 추적하기 위한 가속도계 및/또는 자이로를 가질 수도 있다. 모바일 디바이스 (102) 는 사용자가 소정의 타겟들을 보고 있다고 암시할 수도 있는 움직임 패턴들을 검출하기 위해 주기적 간격들로 가속도계 및/또는 자이로를 폴링할 수도 있다. 그러한 움직임 패턴들을 검출할 시에, 모바일 디바이스 (102) 는 사용자의 시계 또는 사용자의 주위에서의 타겟들의 저-해상도 프레임 또는 저-프레임 레이트로 여러 프레임들을 캡쳐하도록 사용자-착용 카메라 (108) 를 작동시킬 수도 있다. 사용자-착용 카메라 (108) 는 네트워크 (106) 를 거쳐 모바일 디바이스 (102) 에 타겟들의 이미지들을 송신할 수도 있다. 모바일 디바이스 (102) 는 모바일 디바이스-기반 타겟 데이터베이스를 이용하여 임의의 이미지 타겟들을 사전에 식별하기 위해 이미지들에 대해 AR 타겟-매칭 알고리즘을 실행시킬 수도 있다. 하나 이상의 실시형태들에서, 모바일 디바이스 (102) 는 원격 타겟 데이터베이스 (110) 를 이용할 수도 있거나 이미지 타겟 식별을 위해 원격 서버에 이미지들을 송신할 수도 있다.
이미지 타겟이 AR 컨텐츠를 갖는 것으로 사전에 식별되는 경우, 모바일 디바이스 (102) 는 시각, 오디오, 또는 촉각 알림들을 발행하여 타겟에 대한 AR 컨텐츠가 이용가능함을 사용자에게 알릴 수도 있다. 하나 이상의 실시형태들에서, 사용자-착용 카메라 (108) 는 오디오 또는 촉각 알림들을 발행할 수도 있다. 모바일 디바이스 (102) 는 사용자가 환경에서의 타겟으로 향하도록 이미지 타겟의 스냅샷을 디스플레이할 수도 있다. 모바일 디바이스 (102) 는 AR 경험과 상호작용하거나 나중의 AR 상호작용에 대한 타겟을 저장하는 사용자에 대한 선택안들을 나타낼 수도 있다. AR 컨텐츠를 보는 것과 같은, AR 경험과 상호작용할 것을 사용자가 결정하는 경우, 모바일 디바이스 (102) 는 타겟의 실시간 추적을 가능하게 하도록 타겟의 풀-해상도 프레임을 캡쳐하거나 고 프레임 레이트로 타겟을 캡쳐하도록 사용자-착용 카메라 (108) 를 작동시킬 수도 있다. 하나 이상의 실시형태들에서, 모바일 디바이스 (102) 의 카메라는 사용자-착용 카메라 (108) 로부터의 실시간 추적을 인계받을 수도 있다. 하나 이상의 실시형태들에서, 모바일 디바이스 (102) 는 타겟을 확인하거나, AR 컨텐츠를 증강시키거나, 추가적인 이미지 타겟들을 식별하기 위해 타겟 데이터베이스를 이용하여 풀-해상도 프레임에 대해 AR 타겟-매칭 알고리즘을 실행시킬 수도 있다.
사용자가 나중에 AR 상호작용을 위해 타겟을 저장하도록 결정하는 경우, 모바일 디바이스 (102) 는 이미지 타겟의 스냅샷을 저장할 수도 있다. 사용자가 AR 경험을 할 준비가 된 경우, 모바일 디바이스 (102) 는 이미지 타겟의 스냅샷을 디스플레이할 수도 있다. 사용자가 여전히 타겟의 부근에 있는 경우, 사용자는 타겟의 실시간 추적을 가능하게 하기 위해 타겟의 풀-해상도 프레임을 캡쳐하거나 고 프레임 레이트로 타겟을 캡쳐하도록 모바일 디바이스 (102) 또는 사용자-착용 카메라 (108) 에 명령할 수도 있다. 사용자는 전처럼 AR 경험과 상호작용할 수도 있다. 하나 이상의 실시형태들에서, 사용자가 더 이상 타겟의 부근에 있지 않더라도, 사용자는 뷰잉을 위해 타겟에 연결된 AR 컨텐츠를 검색하는 것이 가능할 수도 있다.
AR 디바이스는 HMD (104) 일 수도 있다. HMD (104) 의 기능들은 사용자에 의해 착용된 안경 또는 헬멧에 포함될 수도 있다. 하나 이상의 실시형태들에서, HMD (104) 는 사용자-착용 카메라 (108) 및 모바일 디바이스 (102) 의 기능들을 제공할 수도 있다. 이와 관련하여, HMD (104) 는 사용자의 머리 움직임을 추적하기 위한 가속도계 및/또는 자이로, 사용자의 시계에서의 타겟들을 캡쳐하기 위한 카메라, 사용자에게 AR 컨텐츠를 디스플레이하기 위한 디스플레이 매체, 및 사용자 커맨드들을 검출하거나 수신하기 위한 모션 센서들 또는 다른 감지 또는 입력 메커니즘을 가질 수도 있다. 하나 이상의 실시형태들에서, 보다 제한된 능력들을 갖는 HMD (104) 는 네트워크 (106) 를 통해 사용자로부터 커맨드들을 수신하기 위한 사용자 인터페이스로서 모바일 디바이스 (102) 를 이용할 수도 있다.
사용자-착용 카메라 (108) 및 모바일 디바이스 (102) 를 포함하는 AR 디바이스를 구비함에 따라, HMD (104) 는 사용자가 소정의 타겟들을 보고 있다는 것을 암시하는 머리 움직임의 패턴들 검출하기 위해 주기적 간격들로 가속도계 및/또는 자이로를 폴링할 수도 있다. HMD (104) 는 사용자의 시계에서의 이미지들의 저 전력 탐색 스캔을 수행하도록 내장형 카메라를 작동시킬 수도 있다. HMD (104) 는 이미지 타겟들을 식별하기 위해 내부 타겟 데이터베이스 또는 원격 타겟 데이터베이스 (110) 를 이용하여 스캐닝된 이미지들에 대해 AR 타겟-매칭 알고리즘을 실행시킬 수도 있다. 이미지 타겟이 AR 컨텐츠를 갖는 것으로 사전에 식별되는 경우, 그리고 카메라가 작동된 이후로 가속도계 및/또는 자이로가 사전에 설정된 시간을 초과하는 머리 움직임 또는 머리 움직임 임계치를 검출하지 않은 경우, HMD (104) 는 타겟에 대한 AR 컨텐츠가 이용가능하다고 사용자에게 알림을 디스플레이할 수도 있다. HMD (104) 는 타겟을 식별할 수도 있고 또한 사용자가 AR 경험과 상호작용을 하거나 나중에 AR 상호작용을 위해 타겟을 저장하는 것을 선택할 수도 있는 아이콘들을 디스플레이할 수도 있다.
사용자가 AR 경험과 상호작용하기를 택하는 경우, HMD (104) 는 풀 해상도 스캔을 수행하거나 타겟의 실시간 추적을 수행하도록 카메라를 작동시킬 수도 있다. HMD (104) 는 타겟을 확인하거나, AR 컨텐츠를 증강시키거나, 추가적인 이미지 타겟들을 식별하기 위해 내부 타겟 데이터베이스 또는 원격 타겟 데이터베이스 (110) 를 이용하여 풀-해상도 스캐닝된 이미지에 대해 AR 타겟-매칭 알고리즘을 실행시킬 수도 있다. 사용자가 이미지 타겟을 저장하기를 택하는 경우, HMD (104) 는 이미지 타겟의 스냅샷을 저장할 수도 있다. 나중에, 사용자는 전처럼 타겟에 대한 AR 경험과 상호작용할 수도 있다.
네트워크 (106) 는 단일 네트워크 또는 다수의 네트워크들의 결합으로 구현될 수도 있다. 예를 들어, 다양한 실시형태들에서, 네트워크 (106) 는 인터넷 및/또는 하나 이상의 인트라넷들, 무선 네트워크들 (예를 들어, 셀룰러, 광역 네트워크 (wide area network; WAN), WiFi 핫 스팟, WiMax, 개인 영역 네트워크 (personal area network; PAN), Bluetooth 등), 지상 (landline) 네트워크들, 및/또는 다른 적절한 유형의 통신 네트워크들을 포함할 수도 있다. 그와 같이, 다양한 실시형태들에서, 컴퓨팅 디바이스 (102) 는 특정 링크 (예를 들어, 링크, 예컨대, IP (Internet Protocol) 주소에 대한 URL (Uniform Resource Locator)) 와 연관될 수도 있다.
도 2a 는 본 개시물의 청구물의 일 실시형태에 따른 타겟들의 저-전력 프런트-엔드 패시브 스캐닝을 이용하여 AR 타겟들을 검출하기 위한 타겟-기반 AR 디바이스에 대한 프로세스의 플로차트의 단계들을 도시한다. 201 에서, AR 디바이스는 AR 디바이스를 착용하고 있는 사용자가 제 1 상태에 있다고 검출한다. 예를 들어, HMD (104) 는 일 모션의 기간 후에 사용자의 머리 움직임에서의 정지를 검출하기 위해 가속도계/자이로로부터 가속도 특징들을 폴링할 수도 있다.
203 에서, AR 디바이스는 검출된 제 1 상태에 응답하여 사용자의 시계의 저 해상도 프레임을 캡쳐한다. 저 해상도 프레임은 풀 해상도 프레임을 캡쳐하는 것과 연관된 프로세싱 및/또는 전력 패널티들 없이 사전 타겟 식별을 가능하게 할 수도 있다. 205 에서, AR 디바이스 또는 외부 디바이스는 연결된 AR 컨텐츠를 갖는 이미지 타겟이 식별될 수도 있는지를 저 해상도 프레임으로부터 결정한다. 예를 들어, HMD (104) 는 연결된 AR 컨텐츠를 갖는 임의의 이미지 타겟들을 사전에 식별하기 위해 원격 타겟 데이터베이스 (110) 를 이용하여 AR 타겟-매칭 알고리즘을 실행시킬 수도 있다.
207 에서, 연결된 AR 컨텐츠를 갖는 이미지 타겟이 발견되는 경우, AR 디바이스 또는 외부 디바이스는 이미지 타겟이 이용가능하다고 사용자에게 알릴 수도 있다. 예를 들어, HMD (104) 는 이미지 타겟이 발견되었다는 시각 알림을 발행할 수도 있고, 사용자에게 선택안들을 보여주어 사용자가 연결된 AR 컨텐츠를 요청하는 것을 허용할 수도 있다. 209 에서, AR 디바이스는 사용자가 연결된 AR 컨텐츠와 상호작용하기를 원하는지 여부를 나타내는 사용자 커맨드를 수신한다.
211 에서, 사용자가 연결된 AR 컨텐츠와 상호작용하기를 원한다고 사용자 커맨드가 나타내는 경우, AR 디바이스는 사용자의 시계의 풀 해상도 프레임을 캡쳐한다. AR 디바이스는 타겟을 확인하거나, AR 컨텐츠를 증강시키거나, 추가적인 이미지 타겟들을 식별하기 위해 풀 해상도 프레임에 대해 타겟-매칭 알고리즘을 실행시킬 수도 있다. 213 에서, AR 디바이스는 사용자에게 하나 이상의 식별된 이미지 타겟들에 연결된 AR 컨텐츠를 디스플레이한다.
도 2b 는 본 개시물의 청구물의 일 실시형태에 따른 이미지 타겟 식별을 위해 타겟들의 저-전력 프런트-엔드 패시브 스캐닝을 수행하기 위한 타겟-기반 AR 디바이스에 대한 프로세스의 플로차트의 단계들을 도시한다. 도 3 은 본 개시물의 청구물의 일 실시형태에 따른 이미지 타겟에 대한 AR 컨텐츠의 이용가능성을 보여주는 HMD 의 디스플레이의 일 예시적인 시계를 도시한다. 다음의 논의에서, 도 3 은 도 2 의 단계들에 따라 동작하는 HMD (104) 를 착용하고 있는 사용자에 의해 보여지는 디스플레이의 일 예시적인 뷰를 예시하기 위해 도 2 와 연계하여 고려된다.
202 에서, HMD (104) 와 같은 AR 디바이스는 일 모션의 시간 후에 사용자의 머리 움직임에서의 정지를 검출한다. 머리 움직임에서의 그러한 패턴은 사용자가 소정의 타겟들을 보고 있을 수도 있거나 소정의 타겟들에 관심이 있을 수도 있다는 것을 HMD (104) 에 암시한다. 도 3 을 참고하면, HMD (104) 는 MDH (104) 가 겪는 가속도를 기록하는 가속도계/자이로 (304) 를 갖는다. HMD (104) 는 사용자의 머리 모션을 검출하기 위해 매 몇 초와 같이 주기적 간격들로 가속도계/자이로 (304) 를 폴링할 수도 있다. 가속도계/자이로 (304) 가 초기의 모션의 기간에 뒤이어 여러 폴링 간격들에 걸쳐 의미 있는 머리 움직임을 기록하지 않은 경우, HMD (104) 는 사용자의 시계 (306) 내의 오브젝트가 사용자의 관심을 끌었다고 추론할 수도 있다. 하나 이상의 실시형태들에서, HMD (104) 는 관심 오브젝트를 포함하는 시계 (306) 의 영역을 좁히기 위해 시표 추적 (eye tracking) 을 사용할 수도 있다.
예를 들어, 사용자는 전자 상점의 TV 부에서 쇼핑하고 있을 수도 있다. HMD (104) 는 사용자가 디스플레이 상의 TV 들의 선택들을 스캐닝하기 위해 무심코 그의 또는 그녀의 머리를 움직이는 것으로 일 기간의 머리 모션을 검출할 수도 있다. 사용자가 몇 초 동안 특정 TV (308) 에 그의 눈길을 두는 경우, HMD (104) 는 머리 모션의 기간에 뒤이어 사용자의 머리 움직임에서의 정지를 검출한다.
도 2 의 204 를 다시 참조하면, AR 디바이스는 사용자의 시계 내에서 타겟들의 저 전력 탐색 스캔을 수행하도록 카메라를 작동시킨다. AR 디바이스는 사용자의 시계 (306) 에서의 타겟들의 단일 저-해상도 프레임 또는 타겟들의 저-프레임 레이트로 여러 개의 프레임들을 캡쳐하도록 카메라를 작동시킬 수도 있다. 하나 이상의 실시형태들에서, 사용자의 시계 (306) 의 보다 작은 영역이 사용자에 의해 보여지고 있는 오브젝트를 포함하는 경우, AR 디바이스는 오직 그 영역에 걸쳐서만 탐색 스캔을 수행할 수도 있다. 하나 이상의 실시형태들에서, 카메라는 사용자들이 모르고 볼 수도 있는 이미지 타겟들을 식별하는 것을 돕기 위해 사용자의 풀 시계에 걸쳐 탐색 스캔을 수행한다.
206 에서, AR 디바이스는 임의의 이미지 타겟들을 식별하기 위해 프레임 또는 프레임들에 대해 타겟 데이터베이스를 이용하여 AR 타겟-매칭 알고리즘을 실행시킨다. 타겟 데이터베이스는 AR 디바이스 내에 있을 수도 있다. 하나 이상의 실시형태들에서, AR 디바이스는 원격 서버가 원격 타겟 데이터베이스를 이용하여 이미지 타겟들을 식별하도록 원격 서버에 프레임 또는 프레임들을 송신할 수도 있다. AR 디바이스 또는 원격 서버는 텍스트 인식, 패턴 인식, 안면 인식, 또는 캡쳐된 오브젝트들의 이미지들을 타겟 데이터베이스에서의 이미지 타겟들과 상관시키기 위한 다른 기법들을 이용하여 타겟-매칭을 수행할 수도 있다.
타겟-매칭 알고리즘이 현재 시계 내에서 임의의 타겟을 식별하지 않는 경우, AR 디바이스는 202 로 돌아가 다른 시계들의 스캔들을 개시하기 위해 사용자의 움직임 패턴들을 주기적으로 모니터링할 수도 있다. 예를 들어, HMD (104) 는 마지막 탐색 스캔이 수행된 기간 후에 갱신된 머리 모션을 검출하기 위해 가속도계/자이로 (304) 를 폴링할 수도 있다. HMD (104) 는 그 다음에 사용자가 추가적인 오브젝트들을 보고 있거나 추가적인 오브젝트들에 관심이 있을 수도 있다는 것을 암시할 수 있는 머리 움직임의 패턴들에 대한 조사를 재시작할 수도 있다.
타겟-매칭 알고리즘이 하나 이상의 타겟들을 식별하는 경우, AR 디바이스는 AR 디바이스가 탐색 스캔을 위해 카메라를 작동시킨 이후로 사용자의 의미 있는 움직임이 있었는지를 검출할 수도 있다. 탐색 스캔 이후로 의미 있는 사용자 움직임이 있었던 경우 (이는 사용자가 더 이상 오브젝트를 보고 있지 않을 수도 있다는 것을 나타낸다), AR 디바이스는 202 로 돌아가 사용자가 다른 오브젝트들을 보고 있을 수도 있는지를 검출한다.
208 에서, 의미 있는 사용자 움직임이 없는 경우 (이는 사용자가 여전히 처음에 사용자의 주의를 끄는 오브젝트를 보고 있을 수도 있다는 것을 암시한다), AR 디바이스는 AR 컨텐츠가 이용가능하다고 사용자에게 알린다. AR 디바이스는 사용자에 대해 AR 컨텐츠가 이용가능한 하나 이상의 타겟들을 식별할 수도 있다. 예를 들어, AR 디바이스는 사용자가 타겟들을 식별하는 것을 돕기 위해 타겟들의 스냅샷을 보여줄 수도 있거나 정보를 제공하는 디스플레이를 보여줄 수도 있다. 210 에서, AR 디바이스는 사용자가 연결된 AR 컨텐츠와 상호작용하거나 사용자가 연결된 AR 컨텐츠의 추후의 검색을 위해 타겟을 저장하는 각각의 타겟 선택안들에 대해 보여줄 수도 있다.
예를 들어, 도 3 에서, HMD (104) 는 사용자의 시계 (306) 의 저-해상도 프레임을 캡쳐하도록 카메라 (302) 를 작동시킨다. 시계 (306) 는 TV (308) 및 다른 오브젝트들을 포함한다. HMD (104) 는 사용자가 시계 (306) 에서 알고 또는 모르고 보고 있을 수도 있는 타겟들을 식별하기 위해 캡쳐된 프레임에서의 오브젝트들에 대해 타겟-매칭 알고리즘을 실행시킬 수도 있다. 예를 들어, 타겟-매칭 알고리즘은 TV (308) 의 콘솔 상의 태그를 판독하여 TV (308) 의 브랜드명 및 모델명을 디코딩한다. 타겟-매칭 알고리즘은 브랜드명 및 모델명에 매칭하는 TV 에 대한 이미지 타겟을 발견한다.
HMD (104) 는 카메라 (302) 가 탐색 스캔을 수행한 이후로 의미 있는 머리 움직임이 없었다 (이는 사용자가 여전히 시계 (306) 내의 TV (308) 또는 다른 오브젝트들을 보고 있다는 것을 나타낸다) 는 것을 확증하기 위해 가속도계/자이로 (304) 를 폴링한다. HMD (104) 는 TV (308) 에 대한 AR 컨텐츠가 이용가능하다고 사용자에게 알려주는 팝 업 창 (310) 을 디스플레이한다. HMD (104) 는 사용자의 주의를 TV (308) 로 향하는 것을 돕기 위해 TV (308) 가까이에 팝 업 창 (310) 을 배치할 수도 있다. 팝 업 창 (310) 내에는 디스플레이된 2 개의 아이콘들이 있다 - 사용자가 TV (308) 의 연결된 AR 컨텐츠를 보는 것을 선택할 수도 있는 제 1 아이콘 (312), 및 사용자가 연결된 AR 컨텐츠의 추후의 검색을 위해 TV (308) 에 대한 이미지 타겟을 저장하는 것을 선택할 수도 있는 제 2 아이콘 (314). 타겟-매칭 알고리즘이 시계 (306) 내에서 추가적인 타겟들을 식별하는 경우, HMD (104) 는 AR 컨텐츠들이 이용가능한 타겟들을 식별하는 팝 업 창을 유사하게 디스플레이할 수도 있거나, AR 경험과 상호작용하거나 타겟들을 저장하는 채택안들을 사용자에게 제안할 수도 있다.
도 2 를 다시 참조하면, 212 에서, 사용자가 추후의 검색을 위해 이미지 타겟을 저장하는 것을 채택하는 경우, AR 디바이스는 메모리에 이미지 타겟을 저장한다. 사용자가 나중에 AR 경험을 할 준비가 된 경우, AR 디바이스는 이미지 타겟으로 사용자의 주의를 향하게 하기 위해 원래의 이미지 타겟의 스냅샷을 디스플레이할 수도 있다. AR 디바이스는 202 로 돌아가 사용자가 추가적인 오브젝트들을 보고 있을 수도 있거나 추가적인 오브젝트들에 관심이 있을 수도 있다는 것을 암시하는 머리 움직임의 패턴들에 대한 조사를 재시작한다.
214 에서, 사용자가 AR 경험과 상호작용하는 것을 채택하는 경우, AR 디바이스는 AR 디바이스가 AR 컨텐츠를 증강시키는 것을 허용하기 위해 타겟의 풀-해상도 프레임을 캡쳐하도록 카메라를 작동시킨다. 하나 이상의 실시형태들에서, AR 디바이스는 타겟의 실시간 추적을 가능하게 하기 위해 고 프레임 레이트로 타겟을 캡쳐하도록 카메라를 작동시킬 수도 있다. 216 에서, AR 디바이스는 사용자가 타겟에 대한 AR 컨텐츠와 상호작용하는 것을 허용하도록 사용자에게 연결된 AR 컨텐츠를 제공한다. 하나 이상의 실시형태들에서, AR 디바이스는 타겟을 확인하거나, AR 컨텐츠를 증강시키거나, 추가적인 이미지 타겟들을 식별하기 위해 타겟 데이터베이스를 이용하여 풀-해상도 프레임에 대해 AR 타겟-매칭 알고리즘을 실행시킬 수도 있다.
예를 들어, 도 3 에서, 사용자가 TV (308) 에 대한 AR 컨텐츠와 상호작용하는 것을 채택하는 경우, 사용자는 제 1 아이콘 (312) 을 선택할 수도 있다. HMD (104) 는 제 1 아이콘 (312) 위로의 사용자의 손가락의 움직임을 감지함으로써 또는 다른 감지 혹은 입력 메커니즘들을 통해 사용자의 선택을 검출할 수도 있다. HMD (104) 는 HMD (104) 가 AR 컨텐츠를 증강시키는 것을 허용하기 위해 TV (308) 의 풀-해상도 프레임을 캡쳐하도록 카메라 (302) 를 작동시킬 수도 있다. HMD (104) 는 사용자에게 TV (308) 의 증강된 AR 컨텐츠를 디스플레이할 수도 있다. 증강된 AR 컨텐츠는 피쳐들, 가격, 리뷰들, 할인들, 다른 유사한 제품들과의 비교들 등과 같은 TV (308) 에 대한 정보를 포함할 수도 있다.
사용자가 AR 컨텐츠를 저장하는 것을 채택하는 경우, 사용자는 제 2 아이콘 (314) 을 선택할 수도 있다. HMD (104) 는 사용자에 의한 추후의 검색을 위해 TV (308) 의 AR 컨텐츠를 저장할 수도 있어, TV (308) 가 더 이상 시계 (306) 에 있지 않을지라도 사용자가 AR 컨텐츠와 상호작용하는 것을 허용한다. 하나 이상의 실시형태들에서, HMD (104) 는 팝 업 창 (310) 이 디스플레이된 이후로 의미 있는 머리 모션이 있었는지를 결정하기 위해 가속도계/자이로 (304) 를 폴링할 수도 있다. 의미 있는 머리 모션이 있었던 경우 (이는 사용자가 더 이상 TV (308) 를 보고 있지 않을 수도 있음을 나타낸다), HMD (104) 는 팝 업 창 (310) 을 닫을 수도 있다.
도 4 는 본 개시물의 청구물의 일 실시형태에 따른 본원에 논의된 하나 이상의 컴포넌트들을 구현하기에 적합한 컴퓨터 시스템 (400) 의 블록도이다. 다양한 구현예들에서, 사용자의 모바일 디바이스 (102) 는 네트워크와 통신할 수 있는 개인용 컴퓨팅 디바이스 (예를 들어, 스마트 폰, 컴퓨팅 태블릿, 개인용 컴퓨터, 랩탑, PDA, Bluetooth 디바이스, 키 FOB, 배지 (badge) 등) 를 포함할 수도 있다. 유사하게, HMD (104) 는 안경 또는 헬멧에 포함된 개인용 컴퓨팅 디바이스를 포함할 수도 있다. HMD (104) 는 설명된 실시형태들에 따라 다양한 방법론들을 수행하도록 동작하는 복수의 하드웨어 컴포넌트들 및/또는 소프트웨어 컴포넌트들을 포함하거나 구현할 수도 있다. 예시적인 HMD (104) 는, 예를 들어, 모바일 OS 를 실행시키는 독립형 또는 네트워킹된 컴퓨터들을 포함할 수도 있다.
컴퓨터 시스템 (400) 은 컴퓨터 시스템 (400) 의 다양한 컴포넌트들 사이에서 정보 데이터, 신호들, 및 정보를 통신하기 위한 버스 (402) 또는 다른 통신 매커니즘을 포함한다. 컴포넌트들은 가상 키패드/키보드로부터 키들을 선택하는 것, 하나 이상의 버튼들이나 링크들을 선택하는 것 등과 같은 사용자 액션을 프로세싱하고 버스 (402) 에 대응하는 신호를 전송하는 입력/출력 (I/O) 컴포넌트 (404) 를 포함한다. I/O 컴포넌트 (404) 는 또한 사용자의 눈 앞에 가까이 장착된 디스플레이 매체 (411) 와 같은 출력 컴포넌트, 및 (가상 키보드, 가상 키패드, 가상 마우스 등과 같은) 커서 제어부 (413) 와 같은 입력 제어부를 포함할 수도 있다. 사용자가 오디오 신호들을 정보 신호들로 변환시킴으로써 정보를 입력하기 위해 음성을 이용하는 것을 허용하도록 선택적 오디오 입력/출력 컴포넌트 (405) 가 또한 포함될 수도 있다. 오디오 I/O 컴포넌트 (405) 는 사용자가 오디오를 청취하는 것을 허용할 수도 있다. 송수신기 또는 네트워크 인터페이스 (406) 는 네트워크에 통신 링크 (418) 를 통해 컴퓨터 시스템 (400) 및 다른 사용자 디바이스와 같은 다른 디바이스들, 또는 다른 네트워크 컴퓨팅 디바이스 사이에서 신호들을 송신하고 수신한다. 일 실시형태에서, 송신은 무선이나, 다른 송신 매체들 및 방법들이 또한 적합할 수도 있다. 마이크로-제어기, 디지털 신호 프로세서 (digital signal processor; DSP), 또는 다른 프로세싱 컴포넌트일 수 있는 프로세서 (412) 는, 예컨대, 컴퓨터 시스템 (400) 상에서의 디스플레이 또는 통신 링크 (418) 를 통한 다른 디바이스들로의 송신을 위해 이러한 다양한 신호들을 프로세싱한다. 프로세서 (412) 는 또한, 다른 디바이스들로의, 쿠키들 또는 IP 주소들과 같은 정보의 송신을 제어할 수도 있다.
컴퓨터 시스템 (400) 의 컴포넌트들은 또한 시스템 메모리 컴포넌트 (414) (예를 들어, RAM), 정적 저장 컴포넌트 (416) (예를 들어, ROM), 및/또는 디스크 드라이브 (417) 를 포함한다. 컴퓨터 시스템 (400) 은 시스템 메모리 컴포넌트 (414) 에 포함된 하나 이상의 명령들의 시퀀스들을 실행함으로써 프로세서 (412) 및 다른 컴포넌트들에 의해 특정 동작들을 수행한다. 로직이 컴퓨터 판독가능 매체에 인코딩될 수도 있으며, 컴퓨터 판독가능 매체는 실행을 위해 프로세서 (412) 에 명령들을 제공하는데 참여하는 임의의 매체를 지칭할 수도 있다. 그러한 매체는, 이로 제한되지는 않으나, 비휘발성 매체들 및 휘발성 매체들을 포함한다. 다양한 구현예들에서, 비휘발성 매체들은 광학 혹은 자기 디스크들, 또는 솔리드-스테이트 드라이브들을 포함하며; 휘발성 매체들은 시스템 메모리 컴포넌트 (414) 와 같은 동적 메모리를 포함한다. 일 실시형태에서, 로직은 비일시적 컴퓨터 판독가능 매체에 인코딩된다.
본 개시물의 다양한 실시형태들에서, 본 개시물을 실시하기 위한 명령 시퀀스들의 실행은 컴퓨터 시스템 (400) 에 의해 수행될 수도 있다. 본 개시물의 다양한 다른 실시형태들에서, 통신 링크 (418) 에 의해 네트워크 (예를 들어, 예컨대, 이동통신들, 모바일, 및 셀룰러 폰 네트워크들을 포함하여, LAN, WLAN, PTSN, 및/또는 다양한 다른 유선 또는 무선 네트워크들) 에 커플링된 복수의 컴퓨터 시스템들 (400) 은 서로 협력하여 본 개시물을 실시하도록 명령 시퀀스들을 수행할 수도 있다.
적용가능한 경우, 본 개시물에 의해 제공되는 다양한 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합들을 이용하여 구현될 수도 있다. 또한, 적용가능한 경우, 본원에서 제시된 다양한 하드웨어 컴포넌트들, 소프트웨어 컴포넌트들, 및/또는 펌웨어 컴포넌트들은, 본 개시물의 사상으로부터 벗어나지 않으면서, 소프트웨어, 펌웨어, 하드웨어, 및/또는 모두를 포함하는 복합 컴포넌트들로 결합될 수도 있다. 적용가능한 경우, 본원에 제시된 다양한 하드웨어 컴포넌트들, 소프트웨어 컴포넌트들, 및/또는 펌웨어 컴포넌트들은, 본 개시물의 사상으로부터 벗어나지 않으면서, 소프트웨어, 펌웨어, 하드웨어, 또는 모두를 포함하여 서브-컴포넌트들로 분리될 수도 있다. 또한, 적용가능한 경우, 소프트웨어 컴포넌트들은 하드웨어 컴포넌트들로 구현될 수도 있고, 그 반대의 경우도 마찬가지인 것으로 생각된다. 적용가능한 경우, 본원에 설명된 다양한 단계들의 순서는 본원에 설명된 피쳐들을 제공하기 위해 변화되고/되거나, 복합적인 단계들로 결합되고/되거나, 서브-단계들로 분리될 수도 있다.
본 개시물의 실시형태들이 설명되기는 하였으나, 이러한 실시형태들은 예시하는 것이고 본 개시물을 제한하지는 않는다. 예를 들어, AR 디바이스들에 의해 저-전력 탐색 스캐닝의 작동이 일 모션의 기간 후에 사용자의 신체 움직임에서의 정지를 검출하는 것으로서 예시되나, 다른 움직임 패턴들이 탐색 스캔을 작동시키는데 이용될 수도 있다. 유사하게, 망막 스캐너들과 같은, 가속도계들 또는 자이로들 이외의 센서들이 탐색 스캔의 작동을 개선하는데 이용되어 전력을 더 감소시킬 수도 있다. 본 개시물의 실시형태들은 이러한 실시형태들로 제한되어서는 안되고, 다양한 수정들 및 변형들이 본 개시물의 원리들에 따라 당업자에 의해 이루어지고 이하에서 청구되는 바와 같은 본 개시물의 사상과 범위 내에 포함될 수도 있다는 것이 또한 이해되어야 한다.

Claims (49)

  1. 증강 현실 (augmented reality; AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법으로서,
    상기 사용자가 제 1 상태에 있다고 상기 AR 디바이스에 의해 검출하는 단계;
    상기 제 1 상태의 검출에 응답하여 상기 사용자의 시계 (a field of view) 의 저 해상도 프레임을 상기 AR 디바이스에 의해 캡쳐하는 단계;
    상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 단계로서, 상기 이미지 타겟은 연결된 AR 컨텐츠를 갖는, 상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 단계;
    상기 이미지 타겟이 이용가능하다고 상기 사용자에게 알리는 단계;
    상기 연결된 AR 컨텐츠와 상호작용을 할 것인지 여부에 대해 상기 사용자로부터 커맨드를 상기 AR 디바이스에 의해 수신하는 단계;
    상기 사용자가 상기 연결된 AR 컨텐츠와 상호작용하기를 원한다고 나타내는 상기 커맨드에 기초하여 상기 사용자의 시계의 풀 해상도 프레임을 상기 AR 디바이스에 의해 캡쳐하는 단계; 및
    상기 사용자에게 상기 연결된 AR 컨텐츠를 상기 AR 디바이스에 의해 디스플레이하는 단계를 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  2. 제 1 항에 있어서,
    상기 사용자가 제 1 상태에 있다고 상기 AR 디바이스에 의해 검출하는 단계는, 상기 AR 디바이스를 착용하고 있는 상기 사용자의 움직임 패턴을 검출하는 단계를 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  3. 제 2 항에 있어서,
    상기 움직임 패턴은 움직임의 제 1 기간에 뒤이어 모션의 정지의 제 2 기간을 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  4. 제 1 항에 있어서,
    상기 사용자의 시계의 저 해상도 프레임을 상기 AR 디바이스에 의해 캡쳐하는 단계는, 저 프레임 레이트로 상기 시계의 복수의 프레임들을 캡쳐하는 단계를 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  5. 제 1 항에 있어서,
    상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 단계는, 타겟 데이터베이스로부터 상기 이미지 타겟을 식별하기 위해 상기 저 해상도 프레임에 대해 AR 타겟-매칭 알고리즘을 실행시키는 단계를 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  6. 제 5 항에 있어서,
    상기 AR 타겟-매칭 알고리즘의 실행은 상기 AR 디바이스와 통신하는 원격 서버에 의해서 되는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  7. 제 1 항에 있어서,
    상기 이미지 타겟이 이용가능하다고 상기 사용자에게 알리는 단계는, 상기 이미지 타겟의 이용가능성에 관한 정보를 상기 AR 디바이스에 의해 시각적으로 디스플레이하는 단계를 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  8. 제 1 항에 있어서,
    상기 이미지 타겟이 이용가능하다고 상기 사용자에게 알리는 단계는, 상기 사용자의 시계의 상기 저 해상도 프레임의 상기 AR 디바이스에 의한 캡쳐 후에 상기 사용자가 상기 제 1 상태에 머무른다고 결정하는 단계를 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  9. 제 1 항에 있어서,
    상기 사용자가 나중에 상기 연결된 AR 컨텐츠와 상호작용하기를 원한다고 나타내는 상기 커맨드에 기초하여 상기 이미지 타겟을 저장하는 단계를 더 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  10. 제 1 항에 있어서,
    상기 사용자의 시계의 풀 해상도 프레임을 상기 AR 디바이스에 의해 캡쳐하는 단계는, 상기 풀 해상도 프레임을 이용하여 상기 이미지 타겟을 추적하는 단계를 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  11. 제 1 항에 있어서,
    상기 사용자의 시계의 풀 해상도 프레임을 상기 AR 디바이스에 의해 캡쳐하는 단계는, 상기 연결된 AR 컨텐츠를 증강시키는 단계를 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  12. 제 1 항에 있어서,
    상기 사용자의 시계의 상기 풀 해상도 프레임으로부터 하나 이상의 추가적인 이미지 타겟들을 결정하는 단계를 더 포함하고, 상기 하나 이상의 추가적인 이미지 타겟들은 연결된 AR 컨텐츠를 갖는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  13. 제 1 항에 있어서,
    상기 AR 디바이스는 헤드 마운티드 디스플레이 (head mounted display; HMD) 를 포함하는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  14. 제 1 항에 있어서,
    상기 AR 디바이스는 상기 사용자에 의해 착용된 제 1 카메라 및 모바일 디바이스를 포함하고, 상기 제 1 카메라는 상기 사용자의 시계의 상기 저 해상도 프레임을 캡쳐하는데 이용되는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  15. 제 14 항에 있어서,
    상기 모바일 디바이스는 제 2 카메라를 포함하고, 상기 제 2 카메라는 상기 사용자의 시계의 상기 풀 해상도 프레임을 캡쳐하는데 이용되는, 증강 현실 (AR) 디바이스를 착용하고 있는 사용자와 상호작용하는 방법.
  16. 장치로서,
    상기 장치의 모션을 기록하도록 구성된 센서;
    카메라;
    메모리; 및
    상기 메모리에 커플링된 하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 장치의 움직임 패턴을 검출하기 위해 상기 센서를 폴링하는 것;
    상기 움직임 패턴에 응답하여 상기 카메라의 시계의 저 해상도 프레임을 캡쳐하도록 상기 카메라를 작동시키는 것;
    상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 것으로서, 상기 이미지 타겟은 연결된 증강 현실 (augmented reality; AR) 컨텐츠를 갖는, 상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 것;
    상기 이미지 타겟이 이용가능하다는 것을 나타내도록 알림을 발생시키는 것;
    상기 연결된 AR 컨텐츠에 대한 커맨드를 수신하는 것; 및
    상기 연결된 AR 컨텐츠에 대한 상기 커맨드에 기초하여 상기 카메라의 시계의 풀 해상도 프레임을 캡쳐하도록 상기 카메라를 작동시키는 것을 하도록 구성되는, 장치.
  17. 제 16 항에 있어서,
    디스플레이 매체를 더 포함하고,
    상기 하나 이상의 프로세서들은 상기 디스플레이 매체 상에 상기 연결된 AR 컨텐츠를 디스플레이하도록 더 구성되는, 장치.
  18. 제 16 항에 있어서,
    상기 움직임 패턴은 움직임의 제 1 기간에 뒤이어 모션의 정지의 제 2 기간을 포함하는, 장치.
  19. 제 16 항에 있어서,
    상기 카메라의 시계의 상기 저 해상도 프레임은 저 프레임 레이트로의 상기 카메라의 시계의 복수의 프레임들을 포함하는, 장치.
  20. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은 타겟 데이터베이스로부터 상기 이미지 타겟을 식별하기 위해 상기 저 해상도 프레임에 대해 AR 타겟-매칭 알고리즘을 실행시키도록 더 구성됨으로써 상기 저 해상도 프레임으로부터 상기 이미지 타겟을 결정하도록 구성되는, 장치.
  21. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 이미지 타겟의 이용가능성에 관한 정보를 디스플레이 매체 상에 디스플레이하도록 더 구성됨으로써 상기 이미지 타겟이 이용가능하다는 것을 나타내도록 상기 알림을 발생시키도록 구성되는, 장치.
  22. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 하나 이상의 프로세서들이 상기 카메라의 시계의 상기 저 해상도 프레임을 캡쳐하도록 상기 카메라를 작동시키도록 구성된 후에 모션 임계치를 초과하는 상기 장치의 모션을 상기 센서가 기록하지 않는 것을 결정하기 위해 상기 센서를 폴링하도록 더 구성됨으로써 상기 이미지 타겟이 이용가능하다는 것을 나타내도록 상기 알림을 발생시키도록 구성되는, 장치.
  23. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은 나중에 상기 연결된 AR 컨텐츠를 제공하는 것에 대한 요청을 포함하는 상기 커맨드에 기초하여 상기 이미지 타겟을 저장하도록 더 구성되는, 장치.
  24. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 카메라의 시계의 상기 풀 해상도 프레임을 이용하여 상기 이미지 타겟을 추적하도록 더 구성됨으로써 상기 카메라의 시계의 상기 풀 해상도 프레임을 캡쳐하도록 상기 카메라를 작동시키도록 구성되는, 장치.
  25. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 카메라의 시계의 상기 풀 해상도 프레임으로부터 상기 연결된 AR 컨텐츠를 증강시키도록 더 구성되는, 장치.
  26. 제 16 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 카메라의 시계의 상기 풀 해상도 프레임으로부터 하나 이상의 추가적인 이미지 타겟들을 결정하도록 더 구성되고, 상기 하나 이상의 추가적인 이미지 타겟들은 연결된 AR 컨텐츠를 갖는, 장치.
  27. 제 16 항에 있어서,
    상기 장치는 헤드 마운티드 디스플레이 (head mounted display; HMD) 를 포함하는, 장치.
  28. 복수의 컴퓨터-판독가능 명령들을 포함하는 컴퓨터-판독가능 저장 매체로서,
    상기 명령들은, 하나 이상의 프로세서들에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 방법을 수행하게 하도록 구성되고,
    상기 방법은,
    사용자가 제 1 상태에 있다고 검출하는 단계;
    상기 제 1 상태의 검출에 응답하여 상기 사용자의 시계의 저 해상도 프레임을 캡쳐하는 단계;
    상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 단계로서, 상기 이미지 타겟은 연결된 증강 현실 (augmented reality; AR) 컨텐츠를 갖는, 상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 단계;
    상기 이미지 타겟이 이용가능하다고 상기 사용자에게 알리는 단계;
    상기 연결된 AR 컨텐츠에 대한 커맨드를 수신하는 단계;
    상기 연결된 AR 컨텐츠에 대한 상기 커맨드에 기초하여 상기 사용자의 시계의 풀 해상도 프레임을 캡쳐하는 단계; 및
    상기 사용자에게 상기 연결된 AR 컨텐츠를 제공하는 단계를 포함하는, 컴퓨터-판독가능 저장 매체.
  29. 제 28 항에 있어서,
    상기 사용자가 제 1 상태에 있다고 검출하는 단계는, 상기 사용자의 움직임 패턴을 검출하는 단계를 포함하는, 컴퓨터-판독가능 저장 매체.
  30. 제 29 항에 있어서,
    상기 움직임 패턴은 움직임의 제 1 기간에 뒤이어 모션의 정지의 제 2 기간을 포함하는, 컴퓨터-판독가능 저장 매체.
  31. 제 28 항에 있어서,
    상기 사용자의 시계의 저 해상도 프레임을 캡쳐하는 단계는, 저 프레임 레이트로 상기 시계의 복수의 프레임들을 캡쳐하는 단계를 포함하는, 컴퓨터-판독가능 저장 매체.
  32. 제 28 항에 있어서,
    상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 단계는, 타겟 데이터베이스로부터 상기 이미지 타겟을 식별하기 위해 상기 저 해상도 프레임에 대해 AR 타겟-매칭 알고리즘을 실행시키는 단계를 포함하는, 컴퓨터-판독가능 저장 매체.
  33. 제 28 항에 있어서,
    상기 이미지 타겟이 이용가능하다고 상기 사용자에게 알리는 단계는, 상기 이미지 타겟의 이용가능성에 관한 정보를 시각적으로 디스플레이하는 단계를 포함하는, 컴퓨터-판독가능 저장 매체.
  34. 제 28 항에 있어서,
    상기 이미지 타겟이 이용가능하다고 상기 사용자에게 알리는 단계는, 상기 사용자의 시계의 상기 저 해상도 프레임을 캡쳐한 후에 상기 사용자가 상기 제 1 상태에 머무른다고 결정하는 단계를 포함하는, 컴퓨터-판독가능 저장 매체.
  35. 제 28 항에 있어서,
    상기 방법은 상기 사용자가 나중에 상기 연결된 AR 컨텐츠와 상호작용하기를 원한다고 나타내는 상기 커맨드에 기초하여 상기 이미지 타겟을 저장하는 단계를 더 포함하는, 컴퓨터-판독가능 저장 매체.
  36. 제 28 항에 있어서,
    상기 사용자의 시계의 풀 해상도 프레임을 캡쳐하는 단계는, 상기 풀 해상도 프레임을 이용하여 상기 이미지 타겟을 추적하는 단계를 포함하는, 컴퓨터-판독가능 저장 매체.
  37. 제 28 항에 있어서,
    상기 방법은 상기 사용자의 시계의 상기 풀 해상도 프레임을 이용하여 상기 연결된 AR 컨텐츠를 증강시키는 단계를 더 포함하는, 컴퓨터-판독가능 저장 매체.
  38. 제 28 항에 있어서,
    상기 방법은 상기 사용자의 시계의 상기 풀 해상도 프레임으로부터 하나 이상의 추가적인 이미지 타겟들을 결정하는 단계를 더 포함하고, 상기 하나 이상의 추가적인 이미지 타겟들은 연결된 AR 컨텐츠를 갖는, 컴퓨터-판독가능 저장 매체.
  39. 사용자가 제 1 상태에 있다고 검출하는 수단;
    상기 제 1 상태의 검출에 응답하여 상기 사용자의 시계의 저 해상도 프레임을 캡쳐하는 수단;
    상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 수단으로서, 상기 이미지 타겟은 연결된 증강 현실 (augmented reality; AR) 컨텐츠를 갖는, 상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 수단;
    상기 이미지 타겟이 이용가능하다고 상기 사용자에게 알리는 수단;
    상기 연결된 AR 컨텐츠에 대한 커맨드를 수신하는 수단;
    상기 연결된 AR 컨텐츠에 대한 상기 커맨드에 기초하여 상기 사용자의 시계의 풀 해상도 프레임을 캡쳐하는 수단; 및
    상기 사용자에게 상기 연결된 AR 컨텐츠를 제공하는 수단을 포함하는, 시스템.
  40. 제 39 항에 있어서,
    상기 사용자가 제 1 상태에 있다고 검출하는 수단은, 상기 사용자의 움직임 패턴을 검출하는 수단을 포함하는, 시스템.
  41. 제 40 항에 있어서,
    상기 움직임 패턴은 움직임의 제 1 기간에 뒤이어 모션의 정지의 제 2 기간을 포함하는, 시스템.
  42. 제 39 항에 있어서,
    상기 사용자의 시계의 저 해상도 프레임을 캡쳐하는 수단은, 저 프레임 레이트로 상기 시계의 복수의 프레임들을 캡쳐하는 수단을 포함하는, 시스템.
  43. 제 39 항에 있어서,
    상기 저 해상도 프레임으로부터 이미지 타겟을 결정하는 수단은, 타겟 데이터베이스로부터 상기 이미지 타겟을 식별하기 위해 상기 저 해상도 프레임에 대해 AR 타겟-매칭 알고리즘을 실행시키는 수단을 포함하는, 시스템.
  44. 제 39 항에 있어서,
    상기 이미지 타겟이 이용가능하다고 상기 사용자에게 알리는 수단은, 상기 이미지 타겟의 이용가능성에 관한 정보를 시각적으로 디스플레이하는 수단을 포함하는, 시스템.
  45. 제 39 항에 있어서,
    상기 이미지 타겟이 이용가능하다고 상기 사용자에게 알리는 수단은, 상기 사용자의 시계의 상기 저 해상도 프레임의 캡쳐 후에 상기 사용자가 상기 제 1 상태에 머무른다고 결정하는 수단을 포함하는, 시스템.
  46. 제 39 항에 있어서,
    상기 사용자가 나중에 상기 연결된 AR 컨텐츠와 상호작용하기를 원한다고 나타내는 상기 커맨드에 기초하여 상기 이미지 타겟을 저장하는 수단을 더 포함하는, 시스템.
  47. 제 39 항에 있어서,
    상기 사용자의 시계의 풀 해상도 프레임을 캡쳐하는 수단은, 상기 풀 해상도 프레임을 이용하여 상기 이미지 타겟을 추적하는 수단을 포함하는, 시스템.
  48. 제 39 항에 있어서,
    상기 사용자의 시계의 상기 풀 해상도 프레임을 이용하여 상기 연결된 AR 컨텐츠를 증강시키는 수단을 더 포함하는, 시스템.
  49. 제 39 항에 있어서,
    상기 사용자의 시계의 상기 풀 해상도 프레임으로부터 하나 이상의 추가적인 이미지 타겟들을 결정하는 수단을 더 포함하고, 상기 하나 이상의 추가적인 이미지 타겟들은 연결된 AR 컨텐츠를 갖는, 시스템.
KR1020157028282A 2013-03-15 2014-03-13 증강 현실 타겟 검출을 위한 방법들 및 장치 KR101743858B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/834,669 US9401048B2 (en) 2013-03-15 2013-03-15 Methods and apparatus for augmented reality target detection
US13/834,669 2013-03-15
PCT/US2014/026000 WO2014151561A1 (en) 2013-03-15 2014-03-13 Methods and apparatus for augmented reality target detection

Publications (2)

Publication Number Publication Date
KR20150127683A KR20150127683A (ko) 2015-11-17
KR101743858B1 true KR101743858B1 (ko) 2017-06-05

Family

ID=50543680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157028282A KR101743858B1 (ko) 2013-03-15 2014-03-13 증강 현실 타겟 검출을 위한 방법들 및 장치

Country Status (6)

Country Link
US (1) US9401048B2 (ko)
EP (1) EP2974270B1 (ko)
JP (1) JP6055156B2 (ko)
KR (1) KR101743858B1 (ko)
CN (1) CN105191282B (ko)
WO (1) WO2014151561A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070217B2 (en) * 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
JP6600310B2 (ja) * 2013-09-04 2019-10-30 エシロール エンテルナショナル シースルー頭部装着型装置に基づいたナビゲーション方法
US11343487B2 (en) 2013-10-31 2022-05-24 David Woods Trackable glasses system for perspective views of a display
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20160041435A (ko) 2014-10-07 2016-04-18 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20160171739A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Augmentation of stop-motion content
US9696549B2 (en) * 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9940521B2 (en) * 2015-02-27 2018-04-10 Sony Corporation Visibility enhancement devices, systems, and methods
US10380657B2 (en) * 2015-03-04 2019-08-13 International Business Machines Corporation Rapid cognitive mobile application review
KR101735484B1 (ko) * 2015-06-04 2017-05-15 엘지전자 주식회사 헤드 마운티드 디스플레이
US10380966B2 (en) 2015-08-31 2019-08-13 International Business Machines Corporation Power and processor management for a personal imaging system
US10133407B2 (en) * 2015-12-28 2018-11-20 Seiko Epson Corporation Display apparatus, display system, method for controlling display apparatus, and program
CN108702549B (zh) * 2016-03-17 2022-03-04 惠普发展公司有限责任合伙企业 帧传输
JP2017228942A (ja) * 2016-06-22 2017-12-28 富士通株式会社 ヘッドマウントディスプレイ、送信制御プログラムおよび送信制御方法
US10652284B2 (en) * 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
JP2018078475A (ja) * 2016-11-10 2018-05-17 富士通株式会社 制御プログラム、制御方法および制御装置
US10394313B2 (en) * 2017-03-15 2019-08-27 Microsoft Technology Licensing, Llc Low latency cross adapter VR presentation
US10304207B2 (en) 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
US11048325B2 (en) 2017-07-10 2021-06-29 Samsung Electronics Co., Ltd. Wearable augmented reality head mounted display device for phone content display and health monitoring
GB2567012B (en) * 2017-10-02 2021-05-12 Advanced Risc Mach Ltd Motion Sensing
US10403123B2 (en) 2017-10-31 2019-09-03 Global Tel*Link Corporation Augmented reality system for guards of controlled environment residents
US10921127B2 (en) 2017-11-02 2021-02-16 Sony Corporation Augmented reality based electronic device to provide location tagging assistance in an indoor or outdoor area
CN107864225A (zh) * 2017-12-21 2018-03-30 北京小米移动软件有限公司 基于ar的信息推送方法、装置及电子设备
CN109391849B (zh) * 2018-09-30 2020-11-20 联想(北京)有限公司 处理方法及系统、多媒体输出装置及存储器
CN110658916A (zh) * 2019-09-18 2020-01-07 中国人民解放军海军航空大学 目标跟踪方法和系统
KR20210053554A (ko) * 2019-11-04 2021-05-12 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
KR20210063928A (ko) * 2019-11-25 2021-06-02 삼성전자주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
EP3883234B1 (en) * 2020-03-17 2022-02-02 Axis AB Wearable camera and a method for power consumption optimization in the wearable camera
US11561611B2 (en) * 2020-10-29 2023-01-24 Micron Technology, Inc. Displaying augmented reality responsive to an input
US20220138994A1 (en) * 2020-11-04 2022-05-05 Micron Technology, Inc. Displaying augmented reality responsive to an augmented reality image
US11582392B2 (en) 2021-03-25 2023-02-14 International Business Machines Corporation Augmented-reality-based video record and pause zone creation
US11960345B2 (en) 2021-05-25 2024-04-16 Samsung Electronics Co., Ltd. System and method for controlling operational modes for XR devices for performance optimization
CN113724398A (zh) * 2021-09-01 2021-11-30 北京百度网讯科技有限公司 增强现实方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035562A1 (en) 2002-09-25 2007-02-15 Azuma Ronald T Method and apparatus for image enhancement
US20110304648A1 (en) 2010-06-15 2011-12-15 Lg Electronics Inc. Mobile terminal and method for operating the mobile terminal
US20120062729A1 (en) 2010-09-10 2012-03-15 Amazon Technologies, Inc. Relative position-inclusive device interfaces
US20120194549A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3368614B2 (ja) * 1993-04-01 2003-01-20 セイコーエプソン株式会社 頭部装着型表示装置
GB2377147A (en) 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
GB2378339A (en) 2001-07-31 2003-02-05 Hewlett Packard Co Predictive control of multiple image capture devices.
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP2012002568A (ja) 2010-06-15 2012-01-05 Brother Ind Ltd ナビゲーションシステム、携帯機器及び携帯機器用プログラム
US9606612B2 (en) * 2010-07-20 2017-03-28 Empire Technology Development Llc Augmented reality proximity sensing
KR101317401B1 (ko) 2010-08-25 2013-10-10 주식회사 팬택 객체 저장이 가능한 단말 장치 및 방법
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US8890896B1 (en) 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
KR101818024B1 (ko) 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
US8203605B1 (en) 2011-05-11 2012-06-19 Google Inc. Point-of-view object selection
US20130007672A1 (en) 2011-06-28 2013-01-03 Google Inc. Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface
US20130201344A1 (en) 2011-08-18 2013-08-08 Qualcomm Incorporated Smart camera for taking pictures automatically
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035562A1 (en) 2002-09-25 2007-02-15 Azuma Ronald T Method and apparatus for image enhancement
US20120194549A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US20110304648A1 (en) 2010-06-15 2011-12-15 Lg Electronics Inc. Mobile terminal and method for operating the mobile terminal
US20120062729A1 (en) 2010-09-10 2012-03-15 Amazon Technologies, Inc. Relative position-inclusive device interfaces

Also Published As

Publication number Publication date
WO2014151561A1 (en) 2014-09-25
KR20150127683A (ko) 2015-11-17
US9401048B2 (en) 2016-07-26
CN105191282B (zh) 2019-02-22
EP2974270A1 (en) 2016-01-20
JP2016517583A (ja) 2016-06-16
CN105191282A (zh) 2015-12-23
US20140267403A1 (en) 2014-09-18
JP6055156B2 (ja) 2016-12-27
EP2974270B1 (en) 2018-11-21

Similar Documents

Publication Publication Date Title
KR101743858B1 (ko) 증강 현실 타겟 검출을 위한 방법들 및 장치
US11861068B2 (en) Radial gesture navigation
US11750767B2 (en) Selective identification and order of image modifiers
US20190379818A1 (en) Fast video capture and sensor adjustment
US9563272B2 (en) Gaze assisted object recognition
WO2020125660A1 (zh) 信息推荐方法、装置、设备及存储介质
KR102039505B1 (ko) 국지적 증강 현실 지속적 스티커 객체
US9986086B2 (en) Mobile terminal and method of operating the same
EP3084683B1 (en) Distributing processing for imaging processing
US11829679B2 (en) Shared control of a virtual object by multiple devices
US10080096B2 (en) Information transmission method and system, and device
US11290632B2 (en) Shared control of camera device by multiple devices
US9529428B1 (en) Using head movement to adjust focus on content of a display
WO2017131947A1 (en) Image retrieval for computing devices
CN106201284B (zh) 用户界面同步系统、方法
TWI554142B (zh) 電子裝置與穿戴式電子裝置間之通訊管理方法及系統，及相關電腦程式產品
CN110213307B (zh) 多媒体数据推送方法、装置、存储介质及设备
US11501528B1 (en) Selector input device to perform operations on captured media content items
US20220414989A1 (en) Marker-based virtual mailbox for augmented reality experiences
US20210072832A1 (en) Contactless gesture control method, apparatus and storage medium
US10805254B1 (en) Representation of content viewers
US11823002B1 (en) Fast data accessing system using optical beacons
TW202345607A (zh) 基於串流的物件辨識之系統及方法
CN117632326A (zh) 一种通知查看方法、系统及相关装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right