KR20230116876A - 인증에 클라우드 앵커 활용 - Google Patents

인증에 클라우드 앵커 활용 Download PDF

Info

Publication number
KR20230116876A
KR20230116876A KR1020237022110A KR20237022110A KR20230116876A KR 20230116876 A KR20230116876 A KR 20230116876A KR 1020237022110 A KR1020237022110 A KR 1020237022110A KR 20237022110 A KR20237022110 A KR 20237022110A KR 20230116876 A KR20230116876 A KR 20230116876A
Authority
KR
South Korea
Prior art keywords
wearable device
controllable
network
identifier
user
Prior art date
Application number
KR1020237022110A
Other languages
English (en)
Inventor
알렉산더 제임스 파보그
브렛 바로스
마이클 슈엔버그
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20230116876A publication Critical patent/KR20230116876A/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50Secure pairing of devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/107Network architectures or network communication protocols for network security for controlling access to devices or network resources wherein the security policies are location-dependent, e.g. entities privileges depend on current location or allowing specific operations only from locally connected terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/03Protecting confidentiality, e.g. by encryption
    • H04W12/033Protecting confidentiality, e.g. by encryption of the user plane, e.g. user's traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • H04W12/068Authentication using credential vaults, e.g. password manager applications or one time password [OTP] applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30Security of mobile devices; Security of mobile applications
    • H04W12/33Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/63Location-dependent; Proximity-dependent
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/65Environment-dependent, e.g. using captured environmental data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10Small scale networks; Flat hierarchical networks
    • H04W84/12WLAN [Wireless Local Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

디바이스들 인증을 위한 시스템 및 방법이 설명된다. 시스템 및 방법은 웨어러블 디바이스 상의 센서에 의해, 네트워크와 연관되고 물리적 환경에 대해 구성된 식별자를 포함하는 적어도 하나의 클라우드 앵커를 검출하는 단계를 포함할 수 있다. 상기 적어도 하나의 클라우드 앵커와 연관된 위치가 상기 웨어러블 디바이스의 임계 거리 내에 있다는 것을 검출하고, 상기 웨어러블 디바이스가 상기 적어도 하나의 클라우드 앵커에 액세스할 수 있다는 것을 검출함에 응답하여, 상기 적어도 하나의 클라우드 앵커로부터 식별자의 추출을 트리거하는 단계를 포함할 수 있다. 시스템 및 방법은 상기 추출된 식별자에 대응하는 수신된 인증에 기초하여 상기 웨어러블 디바이스를 상기 네트워크에 참여시키는 단계를 포함할 수 있다.

Description

인증에 클라우드 앵커 활용
본 명세서는 일반적으로 디바이스 인증과 관련된다.
모바일 디바이스는 가정 및 사무실과 같은 건물에서 하나 이상의 전자 디바이스를 제어하는데 사용될 수 있다. 이러한 건물은 원격으로 액세스 및/또는 제어될 수 있는 많은 디바이스를 종종 포함한다. 예를 들어, 전구는 다양한 유형의 무선 통신을 사용하여 모바일 디바이스에 의해 토글되거나 조정될 수 있다. 일부 예에서, 이러한 모바일 디바이스는 모바일 디바이스에 탑재된 카메라의 시야에 있을 수 있는 건물 내의 디바이스를 검출하기 위해 이미지 데이터를 캡처하는 카메라 및 이미지 데이터를 프로세싱하는 이미지 인식 소프트웨어를 포함할 수 있다.
하나 이상의 컴퓨터의 시스템이 동작 중 시스템으로 하여금 액션을 수행하게 하도록 시스템에 설치된 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합에 의해 특정한 동작 또는 액션을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램은 데이터 프로세싱 장치에 의해 실행될 때 상기 장치로 하여금 동작을 수행하게 하는 명령어를 포함함으로써 특정한 동작 또는 액션을 수행하도록 구성될 수 있다.
제1 일반적 양태에서, 웨어러블 디바이스 상의 센서에 의해, 네트워크와 연관되고 물리적 환경에 대해 구성된 식별자를 포함하는 적어도 하나의 클라우드 앵커를 검출하기 위한 시스템 및 방법이 기술된다. 상기 적어도 하나의 클라우드 앵커와 연관된 위치가 상기 웨어러블 디바이스의 임계 거리 내에 있다는 것을 검출하고, 상기 웨어러블 디바이스가 상기 적어도 하나의 클라우드 앵커에 액세스할 수 있다는 것을 검출함에 응답하여, 시스템 및 방법은 상기 적어도 하나의 클라우드 앵커로부터 식별자의 추출을 트리거하는 것 및 추출된 식별자에 대응하는 수신된 인증에 기초하여 상기 웨어러블 디바이스를 상기 네트워크에 참여시키는 것을 포함할 수 있다.
이들 또는 다른 양태들은 단독 또는 조합으로 다음 구성들 중 하나 이상을 포함할 수 있다. 예를 들어, 시스템 및 방법은 식별자가 SSID 및 로그인 자격 증명을 포함하고, 네트워크가 Wi-Fi 네트워크이고, 식별자가 적어도 하나의 제어 가능한 디바이스와 연관되고, 적어도 하나의 제어 가능한 디바이스가 네트워크에 대한 액세스를 제공하는 디바이스이고 인증은 적어도 하나의 제어 가능한 디바이스로부터 수신되는 양태를 포함할 수 있다.
일부 구현예에서, 식별자는 증강 현실(AR) 환경의 3D 맵과 연관되며, 3D 맵은 물리적 환경 내의 적어도 하나의 제어 가능한 디바이스에 의해 저장된 물리적 환경에 매핑된 시각적 데이터를 포함하고, 웨어러블 디바이스가 적어도 하나의 클라우드 앵커에 액세스를 가지고 있음을 검출하는 것은 웨어러블 디바이스가 물리적 환경에 매핑된 시각적 데이터의 적어도 일부와 일치하도록 센서로부터의 데이터를 제공하는지 여부를 결정하는 것을 포함한다. 일부 구현예에서, 상기 적어도 하나의 제어 가능한 디바이스는 상기 웨어러블 디바이스의 위치가 더 이상 상기 임계 거리 내에 있지 않다는 것을 검출함에 응답하여 상기 네트워크로부터 상기 웨어러블 디바이스를 인증 해제하도록 구성된다. 일부 구현예에서, 상기 위치는 상기 적어도 하나의 클라우드 앵커가 상기 웨어러블 디바이스의 시야 내에 있다는 것을 검출함에 기초하여 결정된다. 또한, 청구항 1의 방법은 아래에 기재된 바와 같이 청구항 6 내지 10의 구성(또는 이들의 임의의 조합) 중 하나 이상(예를 들어, 모두)을 포함할 수 있다.
제2 일반적 양태에서, 물리적 환경에서 제어 가능한 디바이스와 통신 가능하게 결합된 웨어러블 디바이스에서, 상기 제어 가능한 디바이스에 대한 액세스 요청을 수신하기 위한 시스템 및 방법이 설명되며, 상기 요청은 인증되지 않은 사용자 또는 디바이스로부터 수신된 것으로 결정된다. 시스템 및 방법은 물리적 환경 내에서 웨어러블 디바이스의 포즈를 결정하는 것 및 웨어러블 디바이스에서 인증되지 않은 사용자 또는 디바이스에 의한 제어 가능한 디바이스에 대한 액세스의 허용 또는 거부를 선택하기 위한 프롬프트를 렌더링하는 것을 더 포함할 수 있다. 제어 가능한 디바이스에 액세스 허용을 수신하는 것에 응답하여, 시스템 및 방법은 상기 물리적 환경의 영역으로부터 상기 제어 가능한 디바이스에 액세스하기 위해 상기 인증되지 않은 사용자 또는 디바이스를 인증하는 것, 상기 영역은 상기 웨어러블 디바이스의 결정된 포즈에 기초하여 정의되며 및 상기 요청을 수행하는 것을 포함할 수 있다.
이들 또는 다른 양태들은 단독 또는 조합으로 다음 구성들 중 하나 이상을 포함할 수 있다. 예를 들면, 상기 영역은 상기 물리적 환경의 구형 이미지 내에 정의될 수 있고, 상기 구형 이미지는 상기 물리적 환경과 연관된 적어도 하나의 클라우드 앵커의 3D 맵에 기초한다. 일부 구현예들에서, 상기 시스템 및 방법은 상기 웨어러블 디바이스에서, 상기 웨어러블 디바이스의 사용자가 상기 영역에 대응하는 방향을 보도록 트리거하는 다른 프롬프트를 렌더링하는 것, 상기 영역의 이미지를 캡처하는 것, 상기 이미지는 인증을 요청하는 상기 사용자 또는 디바이스의 일부를 캡처하며, 및 상기 웨어러블 디바이스에 의해, 인증된 디바이스들 또는 사용자들의 데이터베이스에 상기 이미지를 저장하는 것을 포함할 수 있다.
일부 구현예들에서, 상기 시스템 및 방법은 상기 제어 가능한 디바이스에 액세스하기 위한 제2 요청을 수신하는 것, 상기 웨어러블 디바이스에서, 상기 웨어러블 디바이스의 사용자가 상기 제2 요청과 연관된 이미지를 캡처하도록 트리거하는 프롬프트를 렌더링하는 것; 상기 제2 요청과 연관된 이미지를 캡처하기 위한 명령을 수신하는 것, 및 제2 캡처된 이미지를 상기 데이터베이스의 이미지들과 비교하는 것을 포함할 수 있다. 상기 제2 캡처된 이미지와 상기 데이터베이스의 이미지들의 적어도 일부의 일치를 결정하는 것에 응답하여, 시스템 및 방법은 상기 제2 요청의 수행을 트리거하는 것을 더 포함할 수 있다.
일부 구현예에서, 상기 요청은 물리적 환경에서 사용자가 말하는 청각적 요청이며, 상기 웨어러블 디바이스는 상기 청각적 요청이 수신되는 방향을 결정하고, 그리고 상기 물리적 환경의 영역은 상기 청각적 요청이 수신되는 결정된 방향에 기초하여 결정된다. 또한, 청구항 6의 방법은 상기 기재된 바와 같이 청구항 1 내지 5의 구성(또는 이들의 임의의 조합) 중 하나 이상(예를 들어, 모두)을 포함할 수 있다.
설명된 기법의 구현예는 하드웨어, 방법 또는 프로세스 또는 컴퓨터 액세스 가능 매체 상의 컴퓨터 소프트웨어를 포함할 수 있다. 하나 이상의 구현예들의 세부 내용들이 첨부 도면과 아래의 설명에서 기술된다. 다른 구성들은 아래의 설명, 도면들 및 청구항들로부터 명백해질 것이다.
도 1은 본 명세서 전체에 걸쳐 설명된 구현예에 따라 웨어러블 디바이스를 인증하기 위한 증강 현실(AR) 시스템을 도시한다.
도 2는 본 명세서 전체에 걸쳐 설명된 구현예에 따라 물리적 및/또는 AR 환경에서 디바이스를 인증하기 위한 예시적 시스템의 블록도를 도시한다.
도 3a-3b는 본 명세서 전체에 걸쳐 설명된 구현예에 따른 전자 웨어러블 디바이스의 예를 도시한다.
도 4는 본 명세서 전체에 걸쳐 설명된 구현예에 따라 네트워크에 참여하기 위한 프로세스의 예를 다이어그램으로 나타낸 흐름도이다.
도 5는 본 명세서 전체에 걸쳐 설명된 구현예에 따라 제어 가능한 디바이스에 인증하기 위한 프로세스의 예를 나타내는 흐름도이다.
도 6는 본 명세서에 기술된 기법들과 사용될 수 있는 컴퓨터 디바이스와 모바일 컴퓨터 디바이스의 예시를 도시한다.
다양한 도면들에서 기호들은 동일한 엘리먼트를 표시한다.
이 문서는 증강 현실(AR) 웨어러블 전자 디바이스(즉, 웨어러블 디바이스)에 대한 일반 인증과 관련된 예를 설명한다. 인증 프로세스는 웨어러블 디바이스를 둘러싼 환경의 이미지 기반 평가를 포함할 수 있다. 이미지 기반 평가는 웨어러블 디바이스의 위치 측면 및/또는 웨어러블 디바이스가 제어하거나 인증하려는 전자 디바이스의 위치 측면을 고려할 수 있다. 일부 구현예에서, 이미지 기반 평가는 환경과 연관된 클라우드 앵커의 위치를 고려할 수 있다.
인증을 하려는 디바이스(예를 들어, 웨어러블 디바이스)는 환경의 위치적 측면을 캡처하고 그러한 측면(및/또는 기타 데이터)을 환경의 다른 전자 디바이스로 보낼 수 있다. 환경 내의 다른 전자 디바이스는 웨어러블 디바이스를 인증할지 여부를 결정하기 위해 및/또는 특정 데이터 및/또는 서비스를 다른 전자 디바이스(들)를 통해 웨어러블 디바이스에 제공할지 여부를 결정하기 위해 위치 정보(및/또는 웨어러블 디바이스로부터 수신된 다른 데이터)를 평가할 수 있다.
일부 구현예에서, 본 명세서에 기술된 웨어러블 디바이스는 물리적, 가상 또는 AR 환경에서 하나 이상의 다른 디바이스에 의해 일상적으로 인증될 수 있다. 예를 들어, 전자 어시스턴트 유형의 디바이스(예: 홈 어시스턴트, 자동차 어시스턴트)는 전자 어시스턴트와 연관된 특정 설정 및 리소스를 공유할 뿐만 아니라 공유 공간에서 다른 디바이스를 인증하는데 사용될 수 있다. 일부 구현예에서, 전자 온도조절기, 전자 초인종 디바이스, 텔레비전, 보안 디바이스, 가전 제품, 또는 웨어러블 디바이스에 의해 볼 수 있는 다른 전자 디바이스와 같은 다른 제어 가능한 디바이스는 공유 공간에서 웨어러블 디바이스 및/또는 다른 디바이스를 인증하는데 사용될 수 있다.
기존 시스템은 일반적으로 어시스턴트 디바이스를 통해 디바이스 또는 사용자의 요청을 인증하는 메커니즘을 가지지 않는다. 특히, 기존 시스템은 공유 설정(예: 기숙사, 호텔, 사무실 건물 등)에서 일상적인 요청(예: 조명 제어, 음악 제어 등)을 수신 및 실행하고 이러한 요청을 디바이스 소유자의 허가 없이 실행할 수 있다.
본 명세서에 기술된 시스템 및 방법은 예를 들어 게스트가 소유한 디바이스에 의해 이러한 허가를 인증하는 기법을 제공할 수 있다. 이러한 기법은 디바이스 소유자가 특정 사용자가 요청을 수행할 수 있도록 일상적 요청의 제어를 할당하게 하는 반면 다른 사용자가 디바이스 소유자 허가 없이 요청을 수행하는 것을 허용하지 않거나 차단함으로써 디바이스 소유자에게 이점을 제공할 수 있다. 이 기법은 일상적 요청 디바이스(즉, 키워드(예: "Ok 컴퓨터..." 오디오 요청, 디바이스 제어 요청 등)를 수신하도록 구성된 디바이스)에 권한을 설정하는 방법을 제공할 수 있다. 권한은 디바이스 소유자에 의해 활성화될 수 있고 특정 디바이스 및/또는 사용자로부터의 일상적인 요청을 허용하기 위해 디바이스 소유자로부터 표시(예를 들어, 제스처, 선택, 음성 응답 등)를 수신할 때 우회될 수 있다. 예를 들어, 디바이스 소유자는 요청과 연관된 디바이스 위치 또는 사용자 위치를 향해 제스처를 할 수 있다. 일부 구현예에서, 요청하는 사용자에 대한 인증 및/또는 제어 가능한 디바이스 사용 승인을 요청하기 위해 사용자 인터페이스 콘텐츠가 웨어러블 디바이스 디스플레이에서 디바이스 소유자에게 디스플레이될 수 있다.
일부 구현예에서, 본 명세서에 기술된 웨어러블 디바이스는 네트워크 제공 서비스 및/또는 디바이스 기능에 대한 액세스(예를 들어, Wi-Fi 네트워크에 대한 액세스, AR 세션에 대한 액세스, 환경에서 디바이스에 대한 액세스 등)를 얻기 위해 인증되기 위해서 AR 콘텐츠(예: 클라우드 앵커)를 활용할 수 있다. 예를 들어, 본 명세서에 기술된 시스템 및 방법은 환경에서 서비스에 액세스하기 위해 게스트 디바이스를 인증하는 기법을 제공할 수 있다. 예를 들어, Wi-Fi 네트워크/서비스에 대한 기존 인증은 다른 사용자에게 암호를 요청하고 네트워크를 수동으로 선택하고 수동으로 암호를 입력해야 할 수 있는 사용자를 포함한다. 본 명세서에 기술된 시스템 및 기법은 가상 클라우드 앵커(즉, 클라우드 앵커)를 활용하여 환경(예를 들어, 호텔, 가정, 재산, 사무실 건물 등)과 연관된 Wi-Fi 네트워크(또는 그러한 네트워크의 다른 서비스)에 게스트 디바이스를 일상적으로 인증한다. 이러한 인증은 서비스 및/또는 네트워크 소유자가 구성한 권한에 따라 제공될 수 있다.
일반적으로, 본 개시는 시각적 데이터에 의해 적어도 부분적으로 표현되는 물리적 공간에서 제어 가능한 디바이스의 위치를 결정하고 및/또는 제어 가능한 디바이스에 대한 액세스를 얻기 위해 시각적 데이터에 기초하여 3차원(3D) 맵 정보(예를 들어, 3D 메시, 3D 피처 맵, 클라우드 앵커)를 식별하기 위해 시각적 데이터를 캡처할 수 있는 웨어러블 디바이스의 사용에 관한 것이다. 등) 또는 특정 물리적 환경에 대한 2차원(예: 2D)을 식별하기 위해 시각적 데이터를 캡처할 수 있는 웨어러블 디바이스의 사용과 관련된다. 그러한 정보는 웨어러블 디바이스에 의해 보이거나 검출될 수 있는 별도의 제어 가능한 디바이스에 대한 임의의 양의 시각적 포지셔닝 데이터를 포함할 수 있다. 정보는 로컬로 저장되거나 서버 컴퓨터에 원격으로 저장될 수 있다. 일부 구현예에서, 정보는 2D 정보를 복구하는데 사용될 수 있다. 일부 구현예에서, 정보는 제어 가능한 디바이스의 3자유도(DoF) 포지션을 검출하는데 사용될 수 있다. 일부 구현예에서, 정보는 제어 가능한 디바이스의 6 DoF 포지션을 검출하는데 사용될 수 있다. 일부 구현예에서, 정보는 제어 가능한 디바이스의 5 DoF 포지션을 검출하는데 사용될 수 있다. 일부 구현예에서, 정보는 2D 및/또는 5-DoF 맵 데이터를 복구하는데 사용될 수 있다.
포지션 결정 및/또는 다른 사용자 입력의 인증 분석시, 웨어러블 디바이스는 제어 가능한 디바이스에 대해 인증되고 제어 가능한 디바이스 제어를 시작할 수 있다. 사용자 인터페이스(UI) 콘텐츠 및/또는 오디오 신호는 웨어러블 디바이스의 사용자에게 제어 및/또는 피드백을 허용하기 위해 웨어러블 디바이스에 제공될 수 있다. 일부 구현예에서, UI 콘텐츠는 제어 가능한 디바이스를 제어하기 위한 하나 이상의 컨트롤 및/또는 제어 가능한 디바이스에 대한 추가 정보를 웨어러블 디바이스의 사용자에게 제공할 수 있다.
여기에 설명된 기법은 Wi-Fi 네트워크에 대해 웨어러블 디바이스를 인증하기 위해 클라우드 앵커를 사용하여 웨어러블 디바이스에 배터리 전원을 보존하는 이점을 제공한다. 이러한 기법은 웨어러블 디바이스가 Wi-Fi 서비스를 사용하는 것보다 전자 디바이스 배터리를 빠르게 소모할 수 있는 셀룰러 서비스를 사용할 필요가 없도록 보장할 수 있다. 대신, 여기에서 설명하는 기법은 디바이스를 인증하고, Wi-Fi 또는 기타 네트워크에 대한 액세스를 제공하고, 물리적 및/또는 AR 환경과 연관된 제어 가능한 디바이스를 제어할 수 있도록 클라우드 앵커 정보를 활용할 수 있다.
도 1은 본 명세서 전체에 걸쳐 설명된 구현예에 따라 다른 전자 디바이스에 대해 웨어러블 디바이스를 인증하기 위한 증강 현실(AR) 시스템(100)을 도시한다. 사용자는 환경(102)과 같은 물리적 공간에 들어갈 수 있고 하나 이상의 컴퓨팅 시스템을 휴대할 수 있다. 예를 들어, 제1 사용자(104)는 앉아 있는 것으로 나타나며 컴퓨팅 시스템(106-1) 및 웨어러블 디바이스(104-1)와 연관(예를 들어, 또는 근처에 있을 수 있음)할 수 있다. 컴퓨팅 시스템(106-1)은 모바일 디바이스이다. 웨어러블 디바이스(104-1)는 AR 안경이다. 유사하게, 제2 사용자(106)는 환경(102)에 들어갈 수 있다. 제2 사용자도 임의의 수의 전자 디바이스를 가질 수 있다. 이 예에서, 사용자(106)는 모바일 디바이스(106-2)를 들고 웨어러블 디바이스(104-2)를 착용하고 있다. 임의의 수의 컴퓨팅 시스템이 환경(102)에 포함될 수 있다. 유사하게, 임의의 수의 웨어러블 디바이스가 환경(102)에 포함될 수 있다. 예를 들어, 추가 웨어러블 디바이스(104-3)는 환경(102)에서 다른 디바이스와 인터렉션할 수 있는 링 컨트롤러를 나타낸다. 유사하게, 추가 웨어러블 디바이스(104-4)는 환경(102)에서 다른 디바이스와 인터렉션할 수 있는 스마트워치를 나타낸다.
일부 구현예에서, 컴퓨팅 시스템(106-1)은 웨어러블 디바이스(104-1)에 통신 가능하게 연결될 수 있다. 일부 구현예에서, 웨어러블 디바이스(104-1)는 사용자(104)와 연관된 다른 디바이스와 구성, 연결 또는 통신하지 않는 독립형 디바이스일 수 있다. 일부 구현예에서, 컴퓨팅 시스템(106-2)은 웨어러블 디바이스(104-2)에 통신 가능하게 연결될 수 있다. 일부 구현예에서, 웨어러블 디바이스(104-2)는 사용자(106)와 연관된 다른 디바이스와 구성, 연결 또는 통신하지 않는 독립형 디바이스일 수 있다.
일부 구현예에서, 컴퓨팅 시스템(106-1 및 106-2)은 보조적(즉, 선택적)이며 환경(102) 내의 인터렉션에 사용되지 않는다. 예를 들어, 웨어러블 디바이스(104-1)는 환경(102)에서 네트워크, 서비스 또는 기타 제어 가능한 디바이스를 경험하기 위해 독립형으로 기능할 수 있다. 유사하게, 웨어러블 디바이스(104-2)는 컴퓨팅 시스템(106-2) 없이 동작할 수 있다. 따라서, 웨어러블 디바이스(104-1 및 104-2)는 독립형으로 동작할 수 있다. 일부 구현예에서, 웨어러블 디바이스(104-2)는 웨어러블 디바이스(104-1)를 통해 서비스, 네트워크 등에 대한 액세스를 요청할 수 있다.
하나 이상의 컴퓨팅 시스템(106-1, 106-2) 및/또는 웨어러블 디바이스(104-1, 104-2)와 연관된 사용자(104, 106)는 환경(102)에서 하나 이상의 제어 가능한 디바이스를 제어하기를 원할 수 있다. 환경(102)에 도시된 바와 같이, 제1 제어 가능 디바이스(108-1)는 디지털 어시스턴트 디바이스이고 제2 제어 가능 디바이스(108-2)는 Wi-Fi 라우터이다. 임의의 수의 제어 가능한 디바이스(108)가 환경(102)에 포함될 수 있다. 이러한 제어 가능한 디바이스(108)를 제어하기 위해 특정 제어 가능한 디바이스(108)의 소유자로부터 인증을 평가하고 획득하는 것을 포함할 수 있다. 컴퓨팅 시스템(106-1, 106-2) 및/또는 웨어러블 디바이스(104-1, 104-2)는 본 명세서에 기술된 시스템 및 기법에 의해 인증될 수 있다. 인증은 이러한 시스템 및 디바이스에 서비스, 네트워크, 제어 가능한 디바이스 및/또는 그러한 제어 가능한 디바이스와 연관된 권한에 대한 액세스를 제공할 수 있다. 예를 들어, 시스템(100) 및 환경(102)은 특정 서비스, 네트워크 및/또는 제어 가능한 디바이스에 대한 액세스를 획득하기 위해 웨어러블 디바이스(104-1, 104-2)를 인증하는데 사용될 수 있는 정보를 획득하기 위해 검출되고 액세스될 수 있는 클라우드 앵커(110)로 구성될 수 있다. 일부 구현예에서, 하나의 웨어러블 디바이스(예를 들어, 호스트 AR 안경(104-1))는 다른 웨어러블 디바이스(예를 들어, 게스트 AR 안경(104-2))에 대한 인증을 제공할 수 있다.
본 명세서에서 사용되는 바와 같이, 클라우드 앵커(예를 들어, 가상 클라우드 앵커)는 3D 맵에 포함된 하나 이상의 시각적 피처 포인트들의 세트를 지칭할 수 있다. 클라우드 앵커는 물리적 세계에서 물리적 객체를 나타내는 지속적인 시각적 피처들의 세트와 연관될 수 있다. 본 명세서에 기술된 AR 시스템에서, 웨어러블 디바이스는 호스트 사용자의 환경에 대한 디지털 정보를 수신할 수 있고, 디지털 정보에 기초하여 클라우드 앵커(들)(110)와 같은 하나 이상의 클라우드 앵커를 생성할 수 있으며, 여기서 각각의 클라우드 앵커(110)는 건물 내의 방(또는 그 일부)과 같은 물리적 공간의 일부를 나타낼 수 있다. 호스트 사용자는 방과 연관된 가상 장면에 가상 객체를 추가할 수 있고, 가상 객체는 클라우드 앵커(110)의 포지션에 링크(또는 고정)될 수 있다.
클라우드 앵커(110)는 공간에 참여하고 호스트 사용자(또는 다른 사용자)가 소유한 콘텐츠 또는 디바이스를 보고 그와 인터렉션할 수 있는 다른 사용자와 공유될 수 있다. 일부 예에서, 다른 사용자가 호스트의 환경에 참여하도록 허용하기 위해 호스트 사용자는 특정 클라우드 앵커의 식별자를 찾아 다른 사용자에게 식별자를 제공할 수 있으며, 여기서 해당 사용자는 식별자를 수동으로 입력하여 AR 장면에 참여할 수 있다. 일부 구현예에서, 클라우드 앵커는 클라우드 앵커와 연관된(또는 액세스하기 위해 통신 가능하게 연결된) 객체, 디바이스, 서비스, 및/또는 시스템에 액세스하기 위해 특정 디바이스를 자동으로 인증하도록 호스트에 의해 구성될 수 있다. 환경(102)과 연관된 각각의 디바이스(예를 들어, 컴퓨팅 시스템(106-1, 106-2) 및 웨어러블 디바이스(104-1, 104-2))는 이러한 디바이스와 연관된 이미지 센서를 통해 클라우드 앵커(110)에 액세스할 수 있다.
일부 구현예에서, 게스트 웨어러블 디바이스는 임의의 수의 클라우드 앵커(110)의 피처 포인트에 관한 데이터를 수집하는 물리적 환경을 통해 이동할 수 있다. 특정 포인트에서, 피처 포인트의 조합은 네트워크 또는 디바이스에 대한 액세스 권한을 얻기 위한 특정 식별자로서 제공될 수 있다. 식별자는 하나 이상의 클라우드 앵커(110)와 연관된 하나 이상의 피처 포인트를 포함할 수 있다. 예를 들어, 웨어러블 디바이스(104-2)가 제어 가능한 디바이스에 대응하거나 제어 가능한 디바이스로 구성된 특정 클라우드 앵커와 연관된 식별자를 생성할 수 있는 경우, 웨어러블 디바이스(104-2)는 네트워크 또는 디바이스에 대한 액세스를 얻기 위해 인증될 수 있다.
동작시, 웨어러블 디바이스(104-1)는 호스트(즉, 제어 가능한 디바이스(108)의 소유자)를 나타낼 수 있다. 사용자(104)(즉, 호스트/소유자)는 제어 가능한 디바이스(108-1)(디지털 어시스턴트) 및/또는 제어 가능한 디바이스(108-2)(예를 들어, Wi-Fi 라우터)를 구성하여 게스트 사용자가 클라우드 앵커(110)에 액세스를 갖고 있다는 것을 검증할 때 게스트 사용자에 대한 일상적 클라우드 앵커 기반 인증을 제공하고, 이러한 검증을 각각의 웨어러블 디바이스(104-2), 웨어러블 디바이스(104-3), 웨어러블 디바이스(104-4), 컴퓨팅 시스템(106-1), 제어 가능한 디바이스(108-1)에 제공한다. 또는 제어 가능한 디바이스(108-2)에 제공한다.
일부 구현예에서, 클라우드 앵커(110)는 임의의 수의 식별자와 연관될 수 있다. 예를 들어, 클라우드 앵커(110)는 특정 환경의 3차원 맵과 연관된 물리적 객체 또는 가상 객체의 포지션을 나타내는 포지션 식별자를 포함할 수 있다. 클라우드 앵커(110)는 대안적으로 또는 추가적으로 서비스, 암호, 및/또는 서비스, 네트워크, 기능, 피처 등에 접근하기 위한 다른 표시자를 나타내는 식별자를 포함할 수 있다.
하나의 비제한적인 예에서, 시스템(100)은 네트워크에 대한 웨어러블 디바이스 액세스를 제공할 수 있다. 예를 들어, 사용자(106)는 웨어러블 디바이스(104-2)(예를 들어, AR 안경)를 착용하고 로비 환경(102)으로 걸어 들어갈 수 있다. 웨어러블 디바이스(104-2)는 적어도 하나의 클라우드 앵커(예를 들어, 클라우드 앵커(110))를 검출할 수 있는 적어도 하나의 이미지 센서를 포함할 수 있다. 클라우드 앵커(110)는 적어도 하나의 제어 가능한 디바이스(예를 들어, Wi-Fi 네트워크 라우터를 나타내는 제어 가능한 디바이스(108-2))와 연관된 식별자를 포함할 수 있다. 제어 가능한 디바이스(108-2)는 예를 들어 클라우드 앵커(110)를 검출하는 임의의 웨어러블 디바이스에 Wi-Fi 서비스를 제공하기 위해 물리적 환경(102)에 대해 구성될 수 있다. 예를 들어, 적어도 하나의 제어 가능한 디바이스(예를 들어, Wi-Fi 라우터(108-2))의 위치가 웨어러블 디바이스(104-2)의 임계 거리 내에 있다는 것을 검출함에 응답하여, 웨어러블 디바이스(104-2)는 적어도 하나의 클라우드 앵커(110)로부터의 식별자의 추출을 트리거할 수 있다. 예를 들어, 웨어러블 디바이스는 디바이스(108-2)의 미리 정의된 임계 거리 내에서 이동할 때 및/또는 디바이스(108-2)의 가시 거리 내에서 이동할 때 디바이스(108-2)로부터 로그인 자격 증명(예: SSID, 사용자 이름 및 암호)을 자동으로 요청할 수 있다. (즉, 웨어러블 디바이스(104-2)는 시야, 검출 가능한 거리 및/또는 디바이스(108-2)의 가시적으로 검출 가능한 다른 범위 내에서 클라우드 앵커(110)를 가질 수 있다). 일부 구현예에서, 임계 거리는 특정 웨어러블 디바이스(104-2)가 더 이상 특정 클라우드 앵커(110)에 액세스할 수 없음을 검출함에 응답하여, 시간이 경과했고 디바이스(104-2)가 더 이상 특정 클라우드 앵커를 볼 수 없다고 결정되는 임계 시간에 대응할 수 있다. 이 때 Wi-Fi는 웨어러블 디바이스(104-2)에서 인증 해제될 수 있다.
일부 구현예에서, 임계 거리는 특정 디바이스에 대한 전체 또는 부분 시선과 관련될 수 있다. 예를 들어, 임계 거리는 웨어러블 디바이스(예를 들어, 웨어러블 디바이스(104-2))가 제어 가능한 디바이스(108-2)에 대한 시선을 갖도록 보장하는 것과 관련될 수 있다. 임계 거리의 다른 예는 예를 들어 웨어러블 디바이스(104-2)가 환경(102) 내의 특정 제어 가능한 디바이스의 적어도 부분적인 시야(즉, 부분적인 시선)를 갖도록 보장하는 것과 관련될 수 있다.
식별자 정보를 요청하면, 웨어러블 디바이스(104-2)는 인증이 발생할 수 있도록 디바이스(104-2)에 의해 인식된 순서로 이러한 정보를 적어도 하나의 제어 가능한 디바이스에 제공할 수 있다. 예를 들어, 식별자의 정보를 제공하면, 웨어러블 디바이스(104-2)는 제공된 식별자의 수신된 인증에 기초하여 네트워크에 참여할 수 있다. 디바이스(108-2)는 인증할 수 있거나 사용자(104)는 환경(102)과 연관된 다른 디바이스 또는 웨어러블 디바이스 및/또는 제어 가능한 디바이스(108-2)를 통해 인증할 수 있다. 예를 들어, 적어도 하나의 제어 가능한 디바이스는 네트워크를 제공하고 있는 제어 가능한 디바이스(108-2)(즉, 네트워크 Wi-Fi 라우터)로 구성된 전자 어시스턴트(예를 들어, 제어 가능한 디바이스(108-1))일 수 있다.
다른 비제한적 예에서, 시스템(100)은 환경(102)과 연관된 특정 제어 가능한 디바이스를 사용, 제어 또는 액세스하기 위해 다른 사용자 또는 디바이스를 인증할 수 있다. 예를 들어, 사용자(106)는 게스트를 나타낼 수 있고 환경(102)(즉, 물리적 환경)의 로비에 들어갈 수 있다. 사용자(106)는 하나 이상의 전자 디바이스(디바이스(104-2 및 106-2)에 도시된 바와 같이)와 연관될 수 있다. 그러나 사용자는 자신의 몸에 어떤 디바이스도 가지고 있지 않을 수 있으며 환경(102)의 어떤 디바이스와도 연관되지 않을 수 있다. 따라서, 여기에 설명된 시스템은 디바이스에 대해 인증할 수 있고 및/또는 이러한 사용자로부터 수신된 오디오(또는 시각적) 요청에 기초하여 특정 사용자를 인증할 수 있다.
이 예에서, 사용자(104)는 환경(102) 및 환경(102) 내의 제어 가능한 디바이스(예를 들어, 제어 가능한 디바이스(108-1) 및 제어 가능한 디바이스(108-2))에 대한 호스트를 나타낼 수 있다. 사용자(104)는 웨어러블 디바이스(104-1)(예를 들어, AR 안경)를 착용하고 있을 수 있으며, 이는 환경(102)의 디바이스에 대해 다른 사용자를 인증하는데 사용될 수 있다. 예를 들어, 사용자(106)는 환경(102)에 들어갈 수 있고 예를 들어 제어 가능한 디바이스(1081)에 액세스하기 위한 요청을 제공할 수 있다. 요청은 디바이스(104-2), 디바이스(106-2) 또는 사용자(106)와 연관된 다른 디바이스를 통해 이루어질 수 있다. 일부 구현예에서, 요청은 사용자(106)에 의해 수행된 청각적 발화 또는 시각적 기호를 대신 포함할 수 있다.
사용자(106)는 (제어 가능한 디바이스(108-1)와 같은) 전자 어시스턴트를 사용, 제어 또는 액세스하기 위한 요청을 수행할 수 있다. 동작시, 시스템(100)은 웨어러블 디바이스(104-1)(또는 디바이스(104-3) 또는 디바이스(104-4))에서 요청을 수신할 수 있다. 하나 또는 모든 웨어러블 디바이스(104-1, 104-3 또는 104-4)는 디바이스(104-1, 104-3 또는 104-4) 중 임의의 디바이스가 제어 가능한 디바이스(108-1)에 대한 액세스를 인증할 수 있도록 제어 가능한 디바이스(108-1)에 통신 가능하게 연결될 수 있다. 이 예에서, 요청은 웨어러블 디바이스(104-1)에 의해 예를 들어 인증되지 않은 사용자 또는 디바이스로부터 수신된 것으로 결정된다(예를 들어, 사용자(106)로부터 발언되거나 승인되지 않은 컴퓨팅 디바이스(106-2) 또는 웨어러블 디바이스(104-2)로부터 수신됨).
승인되지 않은 사용자 또는 디바이스로부터 요청을 수신하면, 웨어러블 디바이스(104-1)는 자신의 포즈를 결정할 수 있다. 포즈는 호스트에 의해 소유되고 물리적 환경 내에 있는 웨어러블 디바이스(104-1)의 포즈일 수 있다. 웨어러블 디바이스(104-1)는 인증되지 않은 사용자(106) 또는 디바이스(디바이스(106-2) 또는 디바이스(104-2)에 의한 제어 가능한 디바이스(108-1)에 대한 액세스 허가 또는 거부를 선택하기 위한 프롬프트(113)를 (그 자신과 연관된 디스플레이에) 렌더링하는 것을 트리거할 수 있다. 프롬프트(113)는 질문 및 선택 가능한 컨트롤을 묘사하지만 다른 프롬프트도 물론 가능한다. 예를 들어, 추가 프롬프트(115)는 인증 요청을 수신하기 위해 사용자(104)가 환경(102)의 문을 보도록 지시한다. 사용자(104)는 그러한 인증 요청을 수신하기 위해(즉, 제공받기 위해) 방의 문을 바라보는 제스처를 수행할 수 있다.
일부 구현예에서, 웨어러블 디바이스(104-1)의 사용자(104)는 예를 들어 디바이스(104-1)(즉, AR 안경)에 대한 승인을 표시하기 위해 웨어러블 디바이스(104-1)와 연관된 카메라의 관점에서 제스처(112)를 수행할 수 있다. 그러한 승인은 사용자(106) 또는 디바이스(104-2 또는 106-2)의 인증을 가능하게 할 수 있으며, 이는 요청이 제어 가능한 디바이스(108-1)에서 수행되게 할 수 있다. 예를 들어, 요청이 디바이스(106-2)로부터 선택된 재생목록으로부터 음악을 재생하라는 것이거나 요청이 음악을 재생하라는 청각적 요청(114)이었다면, 인증은 웨어러블 디바이스(104-1)와 연관된 승인에 적어도 부분적으로 기초하여, 요청(116)을 나타내는 표시자에 의해 도시된 바와 같이, 디바이스(108-1)가 음악을 재생하게 할 수 있다.
제어 가능한 디바이스(108-1)에 액세스하기 위한 허가 수신에 응답하여 또는 디바이스(104-1)가 볼 수 있는 사용자(104)에 의한 수행된 제스처에 응답하여, 웨어러블 디바이스(104-1)는 물리적 환경의 영역으로부터 제어 가능한 디바이스(108-1)에 액세스하기 위해 인증되지 않은 사용자 또는 디바이스를 인증할 수 있고, 그런 다음 요청을 수행할 수 있다. 물리적 환경의 영역은 결정된 웨어러블 디바이스의 포즈에 기초하여 정의될 수 있다. 예를 들어, 영역은 웨어러블 디바이스(104-1)의 온보드 카메라 또는 디바이스(104-1)와 연관된 오디오 센서를 사용하여 결정될 수 있다. 이 예에서 영역 A는 사용자(106)(또는 사용자(106)가 소유한 디바이스)의 위치를 기반으로 정의된 영역의 예이다. 물론 환경(102) 내의 다른 정의된 영역 및 하위 영역도 가능하다.
도 2는 본 명세서 전체에 걸쳐 설명된 구현예에 따라 물리적 및/또는 AR 환경에서 디바이스를 인증하기 위한 예시적 시스템의 블록도(200)를 도시한다. 시스템(200)은 도 1에 설명된 바와 같이 적어도 제1 웨어러블 디바이스(104-1)를 포함한다. 디바이스(104-1)는 제어 가능한 디바이스(108)에 액세스하기 위한 요청을 수신할 수 있다. 일부 구현예에서, 서버 컴퓨터(202)는 클라우드 앵커에 액세스하고, 생성하고, 보고, 사용하는데 활용될 수 있다. 일부 구현예에서, 웨어러블 컴퓨팅 디바이스(104-1)는 서버 컴퓨터(202)에 대해 설명된 동작을 수행하고 저장할 수 있으므로, 여기에 설명된 기술과 함께 서버 컴퓨터(202)의 사용을 제거할 수 있다.
일부 예에서, 웨어러블 디바이스(104-1)는 하나 이상의 컴퓨팅 디바이스를 포함하고, 여기서 디바이스 중 적어도 하나는 사람의 피부 상에 또는 피부에 근접하게 착용될 수 있는 디스플레이 디바이스이다. 일부 예에서, 웨어러블 디바이스(104-1)는 웨어러블 디바이스이거나 이를 포함한다. 웨어러블 디바이스는 광학 헤드 마운트 디스플레이(OHMD) 디바이스, 투명 헤드업 디스플레이(HUD) 디바이스, 증강 현실(AR) 디바이스와 같은 헤드 마운트 디스플레이(HMD) 디바이스 또는 센서, 디스플레이 및 컴퓨팅 기능이 있는 고글 또는 헤드셋과 같은 기타 디바이스를 포함할 수 있다. 일부 예에서, 웨어러블 디바이스는 AR 안경(예: 스마트 안경)을 포함한다. AR 안경은 안경 모양으로 설계된 광학 헤드 마운트 디스플레이 디바이스다.
일부 예에서, 웨어러블 디바이스(104-1)는 웨어러블 디바이스(예를 들어, AR 안경) 및 컴퓨팅 디바이스(예를 들어, 스마트폰, 태블릿, 랩톱과 같은 모바일 컴퓨팅 디바이스 또는 스마트 워치와 같은 다른 웨어러블 디바이스)를 포함한다. 웨어러블 디바이스(104-1)는 근거리 연결(예를 들어, 블루투스 연결 또는 근거리 통신(NFC) 연결) 또는 인터넷 연결(예를 들어, Wi-Fi 또는 모바일 네트워크)과 같은 무선 연결을 통해 컴퓨팅 디바이스에 연결될 수 있다. 일부 예에서, 웨어러블 디바이스(104-1)의 컴포넌트 중 일부는 웨어러블 디바이스에 포함되고 웨어러블 디바이스(104-1)의 컴포넌트 중 일부는 컴퓨팅 디바이스에 포함된다.
웨어러블 디바이스(104-1)는 하나 이상의 기계 실행가능 명령어들 또는 소프트웨어, 펌웨어 또는 이들의 조합의 조각을 실행하도록 구성된 기판에 형성될 수 있는 하나 이상의 프로세서(204)를 포함한다. 프로세서(204)는 반도체 기반일 수 있으며, 즉 프로세서는 디지털 논리를 수행할 수 있는 반도체 재료를 포함할 수 있다. 그러한 프로세서(204)는 몇 가지 예를 들자면 CPU, GPU 및/또는 DSP를 포함할 수 있다.
웨어러블 디바이스(104-1)은 또한 하나 이상의 메모리 디바이스(206)를 포함할 수 있다. 메모리 디바이스(206)는 프로세서(들)(204)에 의해 판독 및/또는 실행될 수 있는 형식으로 정보를 저장하는 임의의 유형의 저장 디바이스를 포함할 수 있다. 메모리 디바이스(206)는 프로세서(들)(204)에 의해 실행될 때 특정 동작들을 수행하게 하는 애플리케이션 및 모듈을 저장할 수 있다. 일부 예에서, 애플리케이션 및 모듈은 외부 저장 디바이스에 저장되고 메모리 디바이스(206)에 로드될 수 있다. 웨어러블 디바이스(104-1)는 다른 컴퓨팅 디바이스와 통신하도록 구성된 하나 이상의 안테나(미도시)를 포함한다.
웨어러블 디바이스(104-1)는 디스플레이(208)를 포함한다. 디스플레이(208)는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 디스플레이(OLED), 전기 영동 디스플레이(EPD) 또는 LED 광원을 채용한 마이크로 프로젝션 디스플레이를 포함할 수 있다. 일부 예에서, 디스플레이(208)는 사용자의 시야에 투사된다. 일부 예에서, AR 안경의 경우, 디스플레이(208)는 안경을 착용한 사용자가 디스플레이(208)에 의해 제공되는 이미지를 볼 수 있을 뿐만 아니라 투사된 이미지 뒤의 AR 안경의 시야에 위치한 정보도 볼 수 있도록 투명 또는 반투명 디스플레이를 제공할 수 있다.
웨어러블 디바이스(104-1)는 센서 시스템(210)을 포함한다. 센서 시스템(210)은 이미지 데이터를 획득하도록 구성된 이미지 센서(212)를 포함한다. 일부 예에서, 센서 시스템(210)은 다수의 이미지 센서(212)를 포함한다. 이미지 센서(212)는 사진을 찍고 비디오를 녹화할 수 있다. 센서 시스템(210)은 관성 모션 유닛(IMU)(214)을 포함할 수 있다. IMU(214)는 웨어러블 디바이스(104-1)의 모션, 이동 및/또는 가속을 검출할 수 있다. IMU(214)는 예를 들어 가속도계, 자이로스코프, 자력계 및 기타 이러한 센서와 같은 다양한 상이한 유형의 센서들을 포함할 수 있다. 센서 시스템(210)은 웨어러블 디바이스(104-1)에 의해 수신된 오디오를 검출하도록 구성된 오디오 센서(216)를 포함한다. 센서 시스템(210)은 예를 들어 광 센서, 거리 및/또는 근접 센서, 예를 들어 용량성 센서와 같은 접촉 센서, 타이머 및/또는 다른 센서들 및/또는 센서들의 상이한 조합(들)과 같은 기타 유형의 센서들을 포함할 수 있다. 센서 시스템(210)은 클라우드 앵커 애플리케이션(220) 및 이러한 클라우드 앵커와 연관된 3D 맵(230)과 연관된 식별자(222)를 사용하여 클라우드 앵커 데이터(218)와 연관된 정보를 획득하는데 사용될 수 있다.
식별자(222)는 하나 이상의 클라우드 앵커(110)와 연관된 정보를 포함할 수 있다. 정보는 컴퓨팅 디바이스, 웨어러블 디바이스, 가상 객체 및/또는 물리적 환경과 관련된 물리적 객체에 대응하는 위치 데이터를 포함할 수 있다. 일부 구현예에서, 정보는 네트워크에 참여하기 위한 구성 데이터, AR 세션, 디바이스 제어 획득 등을 포함할 수 있다. 일부 구현예에서, 식별자(222)에 포함된 정보는 인증 목적으로 이미지 인증 데이터베이스(242)에 저장될 수 있는 저장된 이미지와 같은 이미지 데이터를 포함할 수 있다.
시스템(200)은 디바이스와 연관된 특정 위치 및 피처 및 이러한 디바이스에 의해 캡처된 이미지를 인증하기 위해 클라우드 앵커와 인터렉션하는데 사용될 수 있는 클라우드 앵커 애플리케이션(220)을 포함한다. 예를 들어, 웨어러블 컴퓨팅 디바이스(104-1)가 특정 사용자 또는 디바이스를 인증하기 위한 요청을 수신하면, 시스템(200)은 환경(102)에서 하나 이상의 제어 가능한 디바이스(108)의 위치를 결정하기 위해 액세스될 수 있다. 웨어러블 컴퓨팅 디바이스(104-1)를 작동하는 사용자는 특정한 다른 사용자 또는 디바이스(예를 들어, 제어 가능한 디바이스(108-1))에서 센서 시스템(210)의 이미지 센서(212)를 향하게 하고, 웨어러블 디바이스(104-1)를 이동시켜 상이한 시야각과 포지션 주변 환경을 매핑할 수 있다. 이러한 맵은 서버 지도 데이터베이스(234)에 저장되거나 클라우드 앵커 데이터(218)로서 디바이스에 저장될 수 있다.
동작시, 클라우드 앵커 애플리케이션(220)은 센서 시스템(210)으로부터 데이터를 수신하고 시각 데이터(224), 디바이스 포즈(들)(226) 및 앵커 포즈(들)(228)을 포함하는 클라우드 앵커 데이터(218)를 생성한다. 웨어러블 디바이스(104-1)는 클라우드 앵커 데이터(218)에 기초하여 3D 맵(230)을 생성하거나 액세스할 수 있다. 일부 구현예에서, 웨어러블 디바이스(104-1)는 대신 서버 컴퓨터(202)에서 클라우드 앵커 데이터(218)에 액세스할 수 있다. 서버 컴퓨터(202)는 클라우드 앵커 데이터(218)를 생성하고 맵 데이터베이스(234)에 대한 맵(230)을 생성하기 위한 시각적 포지셔닝 데이터 서비스(232)를 포함할 수 있다. 맵(230)은 이 예에서 특정 물리적 및/또는 가상 환경과 연관된 3D 맵 생성기(236)에 의해 생성될 수 있다.
웨어러블 디바이스(104-1)는 온보드 카메라(238) 또는 이미지 센서(212)에 기초하여 포즈 및/또는 포지션(240)을 결정할 수 있다. 포지션(240)은 제어 가능한 디바이스(108-1)의 3D 포지션일 수 있으며, 여기서 3D 포지션(240)은 사용자(및/또는 웨어러블 디바이스(104-1)가 동작하고 있는 3D 물리적 환경에서 제어 가능한 디바이스(108-1)의 위치(및 선택적으로, 배향)이다. 일부 예에서, 포지션은 제어 가능한 디바이스 또는 웨어러블 디바이스의 3 DoF 포지션(240a)을 포함한다. 일부 예에서, 포지션(240)은 제어 가능 디바이스 또는 웨어러블 디바이스의 6 DoF 포지션(240b)을 포함한다. 일부 구현예에서, 포지션(240)은 제어 가능한 디바이스 또는 웨어러블 디바이스의 5 DoF 포지션(240c)을 포함한다.
웨어러블 디바이스(104-1)는 제스처 검출기(244)를 포함할 수 있다. 제스처 검출기(244)는 디바이스(104-1)의 카메라(238) 및/또는 이미지 센서(212)에 의해 캡처된 수신된 제스처를 검출하고 번역하기 위해 센서 시스템(210)에 액세스할 수 있다. 일부 구현예에서, 제스처 검출기(244)는 제스처를 인식하고 특정 제어 가능한 디바이스에 액세스 및/또는 제어하기 위한 입력으로 변환할 수 있다. 일부 구현예에서, 제스처 검출기(244)는 사용자 제공 제스처를 수신하고 제스처의 패턴을 해석하여 패턴을 예를 들어 환경(102)의 제어 가능한 디바이스에 대한 입력으로 변환한다. 일부 구현예에서, 카메라(238)는 웨어러블 디바이스(104-4)의 저해상도 카메라를 나타낼 수 있으며, 카메라는 스마트 워치의 가장자리에 내장되어 있으며, 인증 목적으로 클라우드 앵커(110)로부터 캡처된 이미지 데이터를 추적하고, 보고, 변환할 수 있다.
웨어러블 디바이스(104-1)는 또한 웨어러블 디바이스(104-1)의 작동을 용이하게 하는 다양한 제어 시스템 디바이스를 포함하는 제어 시스템(246)을 포함한다. 제어 시스템(246)은 웨어러블 디바이스(104-1)의 컴포넌트에 동작 가능하게 연결된 프로세서(314)를 포함할 수 있다.
웨어러블 디바이스(104-1)는 통신 모듈(248)을 포함할 수 있다. 통신 모듈(248)은 웨어러블 디바이스(104-1)가 통신하여 다른 컴퓨팅 디바이스와 정보를 교환하고 디바이스(104-1) 또는 환경의 다른 식별 가능한 엘리먼트 범위 내의 다른 디바이스를 인증하게 할 수 있다. 예를 들어, 웨어러블 디바이스(104-1)는 예를 들어 유선 연결, 예를 들어 Wi-Fi 또는 Bluetooth를 통한 무선 연결 또는 다른 유형의 연결을 통한 통신을 용이하게 하기 위해 다른 컴퓨팅 디바이스에 동작 가능하게 연결될 수 있다.
일부 구현예에서, 웨어러블 디바이스(104-1)는 네트워크(250)를 통해, 서버 컴퓨터(202)와 통신할 수 있다. 서버 컴퓨터(202)는 예를 들어 표준 서버, 그러한 서버 그룹 또는 랙 서버 시스템과 같은 다수의 상이한 디바이스의 형태를 취하는 하나 이상의 컴퓨팅 디바이스를 나타낼 수 있다. 일부 구현예에서, 서버 컴퓨터(202)는 프로세서 및 메모리와 같은 컴포넌트를 공유하는 단일 시스템이다. 네트워크(250)는 근거리 통신망(LAN), 광역 통신망(WAN), 셀룰러 네트워크, 위성 네트워크 또는 다른 유형의 데이터 네트워크와 같은 인터넷 및/또는 다른 유형의 데이터 네트워크를 포함할 수 있다. 네트워크(250)는 또한 네트워크(250) 내에서 데이터를 수신 및/또는 전송하도록 구성된 임의의 수의 컴퓨팅 디바이스(예를 들어, 컴퓨터, 서버, 라우터, 네트워크 스위치 등)를 포함할 수 있다.
서버 컴퓨터(202)는 하나 이상의 기계 실행가능 명령어들 또는 소프트웨어, 펌웨어 또는 이들의 조합의 조각을 실행하도록 구성된 기판에 형성될 수 있는 하나 이상의 프로세서(미도시)를 포함한다. 프로세서(들)는 반도체 기반일 수 있으며, 즉 프로세서는 디지털 논리를 수행할 수 있는 반도체 재료를 포함할 수 있다. 서버 컴퓨터(202)는 하나 이상의 메모리 디바이스(미도시)를 포함한다. 메모리 디바이스는 프로세서들에 의해 판독 및/또는 실행될 수 있는 형식으로 정보를 저장하는 메인 메모리를 포함할 수 있다.
일부 예에서, 서버 컴퓨터(202)는 시각적 포지셔닝 데이터 서비스(232)를 실행하도록 구성된다. 시각적 포지셔닝 데이터 서비스(232)는 사용자가 공유할 수 있는 멀티플레이어 또는 협업 AR 경험을 생성하기 위해 사용자가 클라우드 앵커(예를 들어, 3D 맵(230))를 생성할 수 있게 하는 증강 현실(AR) 협업 서비스일 수 있다. 예를 들어, 사용자는 다른 사용자가 공유 물리적 환경의 다른 포지션으로부터 보고, 인증하고, 및/또는 인터렉션할 수 있는 가상 콘텐츠 및/또는 제어 가능한 디바이스(108)를 구성할 수 있다.
예를 들어, 사용자는 그들의 환경에서 로컬 클라우드 앵커(예를 들어, 3D 맵(230))를 생성할 수 있다. 호스팅 동안, 웨어러블 디바이스(104-1)는 시각적 포지셔닝 데이터 서비스(232)에서 3D 맵(230)을 생성하기 위해 데이터를 업로드할 수 있으며, 시각적 포지셔닝 데이터 서비스(232)는 특정 제어 가능한 디바이스에 액세스하기 위한 고유 식별자(222)를 반환한다. 고유 식별자(222)는 클라우드 앵커 데이터(218)와 연관된 식별자(222)를 사용하여 인증한 후에 제어 가능한 디바이스에 액세스하기 위해 또는 동일한 AR 환경에 참여하기 위해 다른 사용자에게 배포될 수 있다.
비록 도 2는 단일 웨어러블 디바이스(104-1) 및 2개의 제어 가능한 디바이스(108)를 도시하지만, 본 명세서에 설명된 구현은 임의의 수의 이러한 시스템(예를 들어, 2개 이상)을 포함할 수 있다. 비록 도 1은 도 2에 도시된 시스템보다 더 적은 디바이스 엘리먼트를 도시하지만, 도 1에 도시된 디바이스는 도 2의 시스템의 일부 또는 모든 엘리먼트를 포함할 수 있다(또는 액세스할 수 있다).
도 3a-3b는 본 개시 전체에 걸쳐 설명된 구현에 따른 AR 웨어러블 디바이스의 예의 다양한 도면을 도시한다. 도 3a는 본 개시 전체에 걸쳐 설명된 구현에 따른 웨어러블 디바이스의 예의 정면도이다. 이 예에서, 웨어러블 디바이스는 AR 안경(300A)(예를 들어, 도 1의 웨어러블 전자 디바이스(104-1))이다. 일반적으로, AR 안경(300A)은 시스템(200)의 일부 또는 모든 컴포넌트를 포함할 수 있다. 스마트안경은 안경 형상으로 설계된 광학 헤드 마운트 디스플레이 디바이스를 나타내는 스마트안경으로 표시될 수 있다. 예를 들어, 스마트 안경은 착용자가 안경을 통해 보는 것에 정보(예를 들면 디스플레이 투사)를 추가하는 안경이다.
본 명세서에서 설명하는 웨어러블 전자 디바이스는 AR 글래스(300A)를 예시하고 있지만, 다른 형태의 웨어러블 디바이스도 가능하다. 예를 들면, 웨어러블 디바이스는 광학 헤드 마운트 디스플레이(OHMD) 디바이스, 투명 헤드업 디스플레이(HUD) 디바이스, 증강 현실(AR) 디바이스와 같은 헤드 마운트 디스플레이(HMD) 디바이스 또는 센서, 디스플레이 및 컴퓨팅 기능이 있는 고글 또는 헤드셋과 같은 기타 디바이스를 포함할 수 있다. 일부 예에서, 웨어러블 디바이스는 시계, 모바일 디바이스, 장신구, 링 컨트롤러 또는 기타 웨어러블 컨트롤러일 수 있다.
도 3a에 도시된 바와 같이, AR 안경(300A)은 프레임(302)에(또는 프레임(302)의 유리 부분에) 결합된 디스플레이 디바이스(304)를 갖는 프레임(302)을 포함한다. AR 안경(300A)은 또한 오디오 출력 디바이스(306), 조명 디바이스(308), 센싱 시스템(310), 제어 시스템(312), 적어도 하나의 프로세서(314) 및 카메라(316)를 포함한다.
디스플레이 디바이스(304)는 버드바스(birdbath) 또는 도파관 광학 디바이스를 사용하는 것과 같은 씨스루 근안 디스플레이를 포함할 수 있다. 예를 들어, 그러한 광학 설계는 디스플레이 소스로부터의 광을 45도 각도로 안착된 빔 스플리터로서 기능하는 텔레프롬프터 유리의 일부 상에 투사할 수 있다. 빔 스플리터는 디스플레이 소스로부터의 광이 부분적으로 반사되는 동안 나머지 광이 투과되도록 하는 반사 및 투과 값을 허용할 수 있다. 그러한 광학 설계는 사용자가 디스플레이에 의해 생성된 디지털 이미지(예를 들어, UI 엘리먼트, 가상 콘텐츠 등) 옆에 있는 세상의 두 물리적 아이템을 모두 볼 수 있도록 할 수 있다. 일부 구현예에서, AR 안경(300A)의 디스플레이 디바이스(304)에 콘텐츠를 묘사하기 위해 도파관 광학이 사용될 수 있다.
오디오 출력 디바이스(306)(예를 들어, 하나 이상의 스피커)는 프레임(302)에 결합될 수 있다. 센싱 시스템(310)은 AR 안경(300A)의 동작을 용이하게 하기 위해 다양한 센싱 디바이스 및 다양한 제어 시스템 디바이스를 포함하는 제어 시스템(312)을 포함할 수 있다. 제어 시스템(312)은 제어 시스템(312)의 컴포넌트에 동작 가능하게 연결된 프로세서(314)를 포함할 수 있다.
카메라(316)는 정지 이미지 및/또는 동영상을 캡처할 수 있다. 일부 구현예에서, 카메라(316)는 카메라(316)로부터 외부 객체의 거리와 관련된 데이터를 수집할 수 있는 깊이 카메라일 수 있다. 일부 구현예에서, 카메라(316)는 예를 들어 입력 디바이스 상의 광학 마커 또는 스크린 상의 손가락과 같은 외부 디바이스 상의 하나 이상의 광학 마커를 검출하고 따를 수 있는 포인트 추적 카메라일 수 있다. 일부 구현예에서, AR 안경(300A)은 카메라(316)의 시야에서 객체(예를 들어, 가상 및 물리적)를 검출하기 위해 예를 들어 카메라(316)와 선택적으로 동작할 수 있는 조명 디바이스(308)를 포함할 수 있다. 조명 디바이스(308)는 예를 들어 카메라(316)의 시야에 있는 객체를 검출하기 위해 카메라(316)와 선택적으로 작동할 수 있다.
AR 안경(300A)은 프로세서(314) 및 제어 시스템(312)과 통신하는 통신 모듈(예를 들어, 통신 모듈(248))을 포함할 수 있다. 통신 모듈은 AR 안경(300A) 내에 수용된 디바이스들 간의 통신뿐만 아니라 예를 들어 컨트롤러, 모바일 디바이스 및/또는 다른 컴퓨팅 디바이스와 같은 외부 디바이스와의 통신을 제공할 수 있다. 통신 모듈은 AR 안경(300A)이 통신하여 다른 컴퓨팅 디바이스와 정보를 교환하고 AR 안경(300A) 범위 내의 다른 디바이스 또는 환경의 다른 식별 가능한 엘리먼트를 인증하게 할 수 있다. 예를 들어, AR 안경(300A)는 예를 들어 유선 연결, 예를 들어 Wi-Fi 또는 Bluetooth를 통한 무선 연결 또는 다른 유형의 연결을 통한 통신을 용이하게 하기 위해 다른 컴퓨팅 디바이스에 동작 가능하게 연결될 수 있다.
도 3b는 본 명세서 전반에 걸쳐 설명된 구현에 따른 AR 안경(300A)의 배면도(300B)이다. AR 안경(300B)은 도 1의 웨어러블 디바이스(104-1, 104-2, 100)의 일 예일 수 있다. AR 안경(300B)은 착용자가 안경을 통해 보는 것과 함께 정보를 추가(예를 들어, 디스플레이(320)를 투사)하는 안경이다. 일부 예에서, 정보를 투사하는 대신 디스플레이(320)는 인렌즈 마이크로 디스플레이이다. 일부 예에서, AR 안경(300B)(예를 들어, 안경 또는 경대)은 일반적으로 코 위에 브리지(324) 및 귀 위에 놓이는 대(326)(예: 관자놀이 또는 관자놀이 부분)를 활용하여 사람의 눈 앞에 렌즈를 고정하는 프레임(302)에 장착된 렌즈(322)(예를 들어, 유리 또는 경질 플라스틱 렌즈)를 포함하는 시각 보조 디바이스이다.
도 4는 본 명세서 전체에 걸쳐 설명된 구현예에 따라 네트워크에 참여하기 위한 컴퓨터로 구현되는 프로세스(400)의 예를 다이어그램으로 나타낸 흐름도이다. 일반적으로, 프로세스(400)는 본 명세서에 기술된 시스템 및 알고리즘을 활용하여 사용자 디바이스(예를 들어, 웨어러블 디바이스)가 물리적 환경을 스캔하여 환경에서 다수의 클라우드 앵커들을 식별하고, 클라우드 앵커를 사용하여 관련 AR 콘텐츠를 검색하고, 식별된 네트워크 자격증명의 사용에 기초하여 사용자 디바이스가 고정된 환경의 네트워크에 참여할 수 있게 할 수 있는 클라우드 앵커를 사용하여 네트워크 자격 증명을 식별 및/또는 검색하게 한다.
프로세스(400)는 적어도 하나의 프로세싱 디바이스 및 실행시 프로세싱 디바이스로 하여금 청구범위에 기재된 복수의 동작들 및 컴퓨터 구현 단계들을 수행하게 하는 명령어들을 저장하는 메모리를 갖는 컴퓨팅 시스템을 활용할 수 있다. 일반적으로, 시스템(100, 200) 및/또는 시스템(600)은 프로세스(400)의 설명 및 실행에 사용될 수 있다.
블록(402)에서, 프로세스(400)는 웨어러블 디바이스 상의 센서에 의해, 네트워크와 연관되고 물리적 환경에 대해 구성된 식별자를 포함하는 적어도 하나의 클라우드 앵커를 검출하는 단계를 포함한다. 예를 들어, 환경(102)에 들어가는 사용자(106)의 웨어러블 디바이스(104-2)의 이미지 센서(212) 또는 오디오 센서(216)는 물리적 환경(202)에서 네트워크(예를 들어, 네트워크(250))와 연관된 식별자(222)를 갖는 클라우드 앵커(110)를 검출할 수 있다. 클라우드 앵커(110)는 본 명세서 전반에 걸쳐 설명된 바와 같이 물리적 환경에 대해 구성될 수 있다.
일부 구현예에서, 예를 들어 네트워크가 라우터 디바이스(예를 들어, 제어 가능한 디바이스(108-2))에 대한 Wi-Fi 네트워크인 경우 식별자는 SSID 및 로그인 자격 증명을 포함할 수 있다. 일부 구현예에서, 식별자는 적어도 하나의 제어 가능한 디바이스와 연관되며, 여기서 적어도 하나의 제어 가능한 디바이스는 네트워크에 대한 액세스를 제공하는 디바이스이다. 예를 들어, 제어 가능한 디바이스는 디바이스(108-2)(즉, 네트워크 라우터)일 수 있다. 일부 구현예에서, 제어 가능한 디바이스는 대신에 (즉, 라우터를 통해) 네트워크를 제공하는 제2 제어 가능한 디바이스(108-2)를 제어하도록 구성될 수 있는 전자 어시스턴트 디바이스(108-1)일 수 있다.
블록(404)에서, 프로세스(400)는 적어도 하나의 클라우드 앵커와 연관된 위치가 웨어러블 디바이스의 임계 거리 내에 있다는 것을 검출하고 웨어러블 디바이스가 적어도 하나의 클라우드 앵커에 액세스할 수 있다는 것을 검출함에 응답하여, 적어도 하나의 클라우드 앵커로부터의 식별자의 추출을 트리거하는 단계를 포함한다. 예를 들어, 적어도 하나의 클라우드 앵커와 연관된 위치가 웨어러블 디바이스의 임계 거리 내에 있다는 것을 검출하고 웨어러블 디바이스가 적어도 하나의 클라우드 앵커에 액세스할 수 있다는 것을 검출함에 응답하여, 식별자(222)가 클라우드 앵커(110)로부터 추출되어 예를 들어, 네트워크와 연관된 하나 이상의 디바이스, 또는 물리적 환경(102) 또는 물리적 환경(102)에 통신 가능하게 연결된 다른 환경과 연관된 하나 이상의 디바이스(예를 들어, 제어 가능한 디바이스(108-2))에 제공될 수 있다. 일부 구현예에서, 특정 위치에 대한 근접성은 클라우드 앵커(110)가 웨어러블 디바이스(104-2) 또는 환경(102) 내의 다른 디바이스의 시야 내에 있다는 것을 검출함에 기초하여 결정된다.
일부 구현예에서 네트워크에 대한 액세스를 제공하는 클라우드 앵커는 네트워크를 제공하는 필수 컴포넌트이다. 예를 들어, 하나 이상의 클라우드 앵커(예를 들어, 클라우드 앵커(110))는 특정 네트워크 액세스를 허용하거나 허용하지 않도록 구성될 수 있다. 일부 구현예에서, 클라우드 앵커(110)는 예를 들면, 제어 가능한 디바이스(108-1 및/또는 108-2) 및/또는 환경(102) 내에서 사용 가능하고/하거나 웨어러블 디바이스(104-2)에 액세스 가능한 다른 제어 가능한 디바이스에 의해 제공되는 네트워크에 연결하기 위한 게이트웨이로서 사용될 수 있는 정보를 포함할 수 있다. 정보는 사용자 이름, 비밀번호, 클라우드 앵커를 통해 디바이스를 확인하기 위한 위치 데이터, 또는 웨어러블 디바이스(104-2)에 의해 캡처된 시각적 데이터와 일치할 수 있는 환경(102)의 클라우드 앵커에 저장된 다른 데이터를 포함할 수 있다.
일부 구현예에서, 클라우드 앵커는 제어 가능한 디바이스와 직접 연관되지 않을 수 있지만 대신 예를 들어, 환경(102)의 특정 네트워크 또는 디바이스에 대한 인증 요청에 대한 응답을 생성하기 전에 사용자 또는 디바이스 ID, 사용자 또는 디바이스 위치 또는 기타 환경(102) 세부 사항 등을 검증하기 위한 리소스로 구성될 수 있다.
일부 구현예에서, 식별자(222)는 증강 현실(AR) 환경(102)의 3D 맵(230)과 연관된다. 3D 맵(230)은 물리적 환경(102)에 매핑되고 물리적 환경(102) 내의 적어도 하나의 제어 가능한 디바이스(108-2)에 저장된 시각적 데이터(224)를 포함할 수 있다. 일부 구현예에서, 웨어러블 디바이스(104-2)가 적어도 하나의 클라우드 앵커(110)에 액세스를 갖는 것을 검출하는 것은 웨어러블 디바이스(104-2)가 물리적 환경(102)에 매핑된 시각적 데이터(224)의 적어도 일부와 일치하도록 센서(212)로부터의 데이터를 제공하는지 여부를 결정하는 것을 포함한다.
블록(406)에서, 프로세스(400)는 제공된 식별자의 수신된 인증에 기초하여 웨어러블 디바이스(104-2)를 네트워크에 참여시키는 단계를 포함한다. 예를 들어, 인증은 클라우드 앵커에 의해 생성되고 웨어러블 디바이스(104-2)에 전송될 수 있다. 일부 구현예에서, 제어 가능한 디바이스(108-2)에 의해 인증이 생성되어 웨어러블 디바이스(104-2)에 전송될 수 있다. 예를 들어, 올바른 식별자(222)를 수신하면, 웨어러블 디바이스(104-2)는 제어 가능한 디바이스(108-2)에 인증될 수 있으며, 이는 제어 가능한 디바이스(108-2)에 의해 제공되는 네트워크에 웨어러블 디바이스(104-2)의 자동 참여를 트리거할 수 있다.
일부 구현예에서, 상기 적어도 하나의 제어 가능한 디바이스(108-2)는 상기 웨어러블 디바이스의 위치가 더 이상 상기 임계 거리 내에 있지 않다는 것을 검출함에 응답하여 상기 네트워크로부터 상기 웨어러블 디바이스(104-2)를 인증 해제하도록 구성된다. 일부 구현예에서, 임계 거리는 특정 웨어러블 디바이스(104-2)가 더 이상 특정 클라우드 앵커(110)에 액세스할 수 없음을 검출함에 응답하여, 시간이 경과했고 디바이스(104-2)가 더 이상 특정 클라우드 앵커를 볼 수 없다고 결정되는 임계 시간에 대응할 수 있다. 이 때 Wi-Fi는 웨어러블 디바이스(104-2)에서 인증 해제될 수 있다. 일부 구현예에서, 클라우드 앵커는 특정 디바이스가 임계 거리 밖에 있다는 것을 검출함에 기초하여 특정 디바이스의 인증 해제를 트리거하도록 구성될 수 있다.
일부 구현예에서, 프로세스(400)는 물리적 환경에 대해 구성된 적어도 하나의 제어 가능한 디바이스와 연관된 식별자를 포함하는 적어도 하나의 클라우드 앵커를 웨어러블 디바이스 상의 센서에 의해 검출하는 단계를 포함한다. 예를 들어, 환경(102)에 들어가는 사용자(106)의 웨어러블 디바이스(104-2)의 이미지 센서(212) 또는 오디오 센서(216)는 물리적 환경(102)에서 제어 가능한 디바이스(108-2)(예를 들어, 네트워크 라우터)와 연관된 식별자(222)를 갖는 클라우드 앵커(110)를 검출할 수 있다.
일부 구현예에서, 프로세스(400)는 적어도 하나의 제어 가능한 디바이스의 위치가 웨어러블 디바이스의 임계 거리 내에 있다는 것을 검출하고 웨어러블 디바이스가 적어도 하나의 클라우드 앵커에 액세스할 수 있다는 것을 검출함에 응답하여, 적어도 하나의 클라우드 앵커로부터의 식별자의 추출을 트리거하는 단계 및 상기 식별자를 적어도 하나의 제어 가능한 디바이스에 제공하는 단계를 포함한다. 예를 들어, 적어도 하나의 제어 가능한 디바이스(108-2)의 위치가 웨어러블 디바이스(104-2)의 임계 거리 내에 있다는 것을 검출하고 웨어러블 디바이스(104-2)가 적어도 하나의 클라우드 앵커에 액세스할 수 있음을 검출한 것에 응답하여, 식별자(222)는 클라우드 앵커(110)로부터 추출되어 제어 가능한 디바이스(108-2)에 제공될 수 있다.
일부 구현예에서, 예를 들어 네트워크가 라우터(예를 들어, 제어 가능한 디바이스(108-2))에 대한 Wi-Fi 네트워크인 경우 식별자는 SSID 및 로그인 자격 증명을 포함할 수 있다. 적어도 하나의 제어 가능한 디바이스는 네트워크에 대한 액세스를 제공하는 디바이스일 수 있다. 예를 들어, 제어 가능한 디바이스는 디바이스(108-2)(즉, 네트워크 라우터)일 수 있다. 일부 구현예에서, 제어 가능한 디바이스는 대신에 네트워크(즉, 라우터)를 제공하는 제2 제어 가능한 디바이스(108-2)를 제어하도록 구성될 수 있는 전자 어시스턴트 디바이스(108-1)일 수 있다. 일부 구현예에서, 위치는 클라우드 앵커(110)가 웨어러블 디바이스(104-2)의 시야 내에 있다는 것을 검출함에 기초하여 결정된다.
일부 구현예에서 네트워크에 대한 액세스를 제공하는 제어 가능한 디바이스는 네트워크를 제공하는 필수 컴포넌트이다. 예를 들어, 제어 가능한 디바이스가 라우터 제어 가능한 디바이스(108-2)인 경우, 디바이스(108-2)는 네트워크에 대한 액세스를 제어할 수 있고 및/또는 라우터 제어 가능 디바이스(108-2)를 통해 네트워크에 액세스 할 수 있는 다른 디바이스(예를 들어, 104-1, 104-2, 104-3, 106-1, 106-2, 108-1)에 대한 액세스를 제어할 수 있다.
일부 구현예에서, 클라우드 앵커(110)는 예를 들면, 제어 가능한 디바이스(108-1 및/또는 108-2) 및/또는 환경(102) 내에서 사용 가능하고/하거나 웨어러블 디바이스(104-2)에 액세스 가능한 다른 제어 가능한 디바이스에 의해 제공되는 네트워크에 연결하기 위한 게이트웨이로서 사용될 수 있는 정보를 포함할 수 있다. 정보는 사용자 이름, 비밀번호, 클라우드 앵커를 통해 디바이스를 확인하기 위한 위치 데이터, 또는 웨어러블 디바이스(104-2)에 의해 캡처된 시각적 데이터와 일치할 수 있는 환경(102)의 클라우드 앵커에 저장된 다른 데이터를 포함할 수 있다.
일부 구현예에서, 클라우드 앵커는 제어 가능한 디바이스와 직접 연관되지 않을 수 있지만 대신 예를 들어, 환경(102)의 특정 네트워크 또는 디바이스에 대한 인증 요청에 대한 응답을 생성하기 전에 사용자 또는 디바이스 ID, 사용자 또는 디바이스 위치 등을 검증하기 위한 리소스로 구성될 수 있다.
일부 구현예에서, 식별자(222)는 증강 현실(AR) 환경(102)의 3D 맵(230)과 연관된다. 3D 맵(230)은 물리적 환경(102)에 매핑되고 물리적 환경(102) 내의 적어도 하나의 제어 가능한 디바이스(108-2)에 저장된 시각적 데이터(224)를 포함할 수 있다. 일부 구현예에서, 웨어러블 디바이스(104-2)가 적어도 하나의 클라우드 앵커(110)에 액세스를 갖는 것을 검출하는 것은 웨어러블 디바이스(104-2)가 물리적 환경(102)에 매핑된 시각적 데이터(224)의 적어도 일부와 일치하도록 센서(212)로부터의 데이터를 제공하는지 여부를 결정하는 것을 포함한다.
일부 구현예에서, 프로세스(400)는 제어 가능한 디바이스(108-2)에서 제공된 식별자의 수신된 인증에 기초하여 웨어러블 디바이스(104-2)를 네트워크에 참여시키는 단계를 포함한다. 예를 들어, 올바른 식별자(222)를 수신하면, 웨어러블 디바이스(104-2)는 제어 가능한 디바이스(108-2)에 인증될 수 있으며, 이는 제어 가능한 디바이스(108-2)에 의해 제공되는 네트워크에 웨어러블 디바이스(104-2)의 자동 참여를 트리거할 수 있다.
일부 구현예에서, 상기 적어도 하나의 제어 가능한 디바이스(108-2)는 상기 웨어러블 디바이스의 위치가 더 이상 상기 임계 거리 내에 있지 않다는 것을 검출함에 응답하여 상기 네트워크로부터 상기 웨어러블 디바이스(104-2)를 인증 해제하도록 구성된다. 일부 구현예에서, 임계 거리는 특정 웨어러블 디바이스(104-2)가 더 이상 특정 클라우드 앵커(110)에 액세스할 수 없음을 검출함에 응답하여, 시간이 경과했고 디바이스(104-2)가 더 이상 특정 클라우드 앵커를 볼 수 없다고 결정되는 임계 시간에 대응할 수 있다. 이 때 Wi-Fi는 웨어러블 디바이스(104-2)에서 인증 해제될 수 있다.
도 5는 본 명세서 전체에 걸쳐 설명된 구현예에 따라 제어 가능한 디바이스에 인증하기 위한 컴퓨터로 구현되는 프로세스(500)의 예를 나타내는 흐름도이다. 이 예에서, 웨어러블 디바이스(104-1)는 인증된 사용자가 액세스할 수 있는 리소스(예: 음악)를 제어하는 제어 가능한 디바이스(108-1)(예: 전자 어시스턴트 디바이스)에 통신 가능하게 연결될 수 있다. 일반적으로, 프로세스(500)는 알려지지 않은 화자가 인증된 디바이스 및/또는 사용자에 의해 작동되도록 구성될 수 있는 제어 가능한 디바이스(108-1)의 요청을 제공했음을 검출하기 위해 여기에 설명된 시스템 및 알고리즘을 활용한다. 웨어러블 디바이스(104-1)는 물리적 환경(102)에 대해 위치를 파악(예를 들어, 포지션, 포즈 등을 결정)함으로써 인증 프로세스를 시작할 수 있다. 웨어러블 디바이스(104-1)와 연관된 마이크는 청각적 요청을 제공하는 화자의 방향을 결정하는데 사용될 수 있다. 웨어러블 디바이스(104-1)를 착용한 디바이스 소유자(104)는 요청을 허용하거나 거부하도록 프롬프트된다. 일부 구현예에서, 디바이스 소유자(104)는 요청을 제공하는 화자를 보도록(또는 그 방향으로) 프롬프트된다. 디바이스 소유자(104)가 요청을 허용하면, 방의 영역(예를 들어, 구체의 영역에 의해 기술됨)은 인증된 것으로 표시된다.
일부 구현예에서, 프로세스(500)는 또한 임베딩(예를 들어, 고차원 피처 벡터)을 생성 및 저장하기 위해 화자의 얼굴의 이미지를 캡처할 수 있다. 임베딩은 실제 신원을 나타내는 것이 아니라 대신 특정 물리적 환경과 연관될 수 있는 화자의 모습(또는 부분적인 모습)을 나타낸다. 일부 구현예에서, 임베딩은 사용자에 의해 디바이스(108-1)를 효율적으로 제어하기 위해 제어 가능한 디바이스(108-1)와 연관된 신원에 연결된다. 예를 들어, 신원은 화자의 재생목록에 연결될 수 있고 따라서 음악 재생(예를 들어, 요청(116)을 나타내는 표시자)은 그러한 재생목록 재생을 트리거할 수 있다.
일부 구현예에서, 화자(예를 들어, 요청자)의 얼굴 피처는 웨어러블 디바이스에 저장되거나 웨어러블 디바이스가 액세스 가능한 서버 컴퓨팅 시스템에 저장된 이전에 인증된 얼굴과 비교될 수 있다. 디바이스 소유자(104)가 수신된 요청을 허용하면, 동일한 화자에 의한 후속 요청은 요청이 온 방의 영역에 의해 인증될 수 있다(위에서 설명된 것과 같은 위치 파악/포즈를 사용하거나 저장된 얼굴 피처를 사용함).
프로세스(500)는 적어도 하나의 프로세싱 디바이스 및 실행시 프로세싱 디바이스로 하여금 청구범위에 기재된 복수의 동작들 및 컴퓨터 구현 단계들을 수행하게 하는 명령어들을 저장하는 메모리를 갖는 컴퓨팅 시스템을 활용할 수 있다. 일반적으로, 시스템(100, 200) 및/또는 시스템(600)은 프로세스(500)의 설명 및 실행에 사용될 수 있다.
블록(502)에서, 프로세스(500)는 물리적 환경에서 제어 가능한 디바이스에 통신 가능하게 연결된 웨어러블 디바이스에서 제어 가능한 디바이스에 액세스하기 위한 요청을 수신하는 단계를 포함한다. 예를 들어, 웨어러블 디바이스(104-1)는 물리적 환경(102)에서 청각적 요청(114)에 의해 표시된 바와 같이 사용자(106)로부터 요청을 수신할 수 있다. 일부 구현예에서, 요청은 웨어러블 디바이스(104-2) 또는 디바이스(106-2)로부터 대신 수신될 수 있다. 웨어러블 디바이스(104-1)는 센서 시스템(210) 및/또는 클라우드 앵커 애플리케이션(220)을 사용하여 요청이 인증되지 않은 사용자 또는 디바이스(즉, 사용자(106) 또는 디바이스(104-2, 106-2))로부터 수신되었음을 결정할 수 있다. 요청이 인식되지 않거나 승인되지 않은 사용자로부터 수신된 것으로 결정되면, 프로세스(500)는 인증 체크 프로세스를 시작할 수 있다.
블록(504)에서, 프로세스(500)는 물리적 환경 내에서 웨어러블 디바이스의 포즈를 결정하는 단계를 포함한다. 예를 들어, 웨어러블 디바이스(104-1)는 환경(102)에서 그 자신의 포지션(240)(예를 들어, 3 DoF 포즈(240a) 또는 6 DoF 포즈(240b) 또는 5 DoF 포즈(240c))를 결정할 수 있다. 상기 포즈는 인증이 발생한 경우에 사용될 수 있다.
블록(506)에서, 프로세스(500)는 상기 웨어러블 디바이스에서, 상기 인증되지 않은 사용자 또는 디바이스에 의한 상기 제어 가능한 디바이스에 대한 액세스의 허용 또는 거부를 선택하기 위한 프롬프트를 렌더링하는 단계를 포함한다. 예를 들어, 사용자(104)에게 정보를 제시하기 위해 웨어러블 디바이스(104-1)에 의해 프롬프트가 생성될 수 있다. 정보(예를 들어, 프롬프트(113, 115))는 클라우드 앵커 데이터, 사용자 및/또는 디바이스를 승인하기 위한 UI 프롬프트, 또는 하나 이상의 제어 가능한 디바이스에 대한 액세스를 승인 및/또는 인증하는데 있어 사용자(104)를 돕는 다른 데이터를 포함할 수 있다. 이미지 캡처 데이터, 클라우드 앵커와 연관된 피처 포인트 또는 장면에서 식별할 수 있는 기타 정보를 포함하되 이에 제한되지 않는 다른 데이터도 고려될 수 있다. 이 정보는 사용자에게 특정 프롬프트 생성하는데 사용될 수 있다.
블록(508)에서, 프로세스(500)는 인증되지 않은 사용자(예를 들어, 사용자(106)) 또는 디바이스(예를 들어, 디바이스(104-2 또는 디바이스 106-2))를 인증하여, 물리적 환경(102)의 영역(예를 들어, 도 1의 영역 A)으로부터 제어 가능한 디바이스(예를 들어, 디바이스(108-1), 디바이스(108-2))에 액세스하게 하고 요청(116)을 수행(즉, 음악 재생)하는 단계를 포함한다. 예를 들어, 제어 가능한 디바이스에 액세스하기 위한 허가(예를 들어, 제스처(112) 및/또는 프롬프트(113)에서의 입력 등)를 수신하는 것에 응답하여, 프로세스(500)는 물리적 환경의 영역으로부터 제어 가능한 디바이스에 액세스하기 위해 인증되지 않은 사용자 또는 디바이스를 인증하는 것을 포함할 수 있다. 제어 가능한 디바이스에 액세스하기 위한 허가를 수신하는 것에 응답하여, 프로세스(500)는 또한 수신된 요청을 수행하는 단계를 포함할 수 있다. 영역(예: 영역 A)은 웨어러블 디바이스(104-1)의 결정된 포즈에 기초하여 정의될 수 있다. 예를 들면, 영역은 상기 물리적 환경(102)의 구형 이미지 내에 정의될 수 있고, 상기 구형 이미지는 상기 물리적 환경(102)과 연관된 적어도 하나의 클라우드 앵커(110)의 3D 맵(230)에 기초한다.
일부 구현예에서, 프로세스(500)는 또한 웨어러블 디바이스(104-1)에서 예를 들어 다른 프롬프트(예를 들어, 프롬프트(115))를 렌더링하여 웨어러블 디바이스의 사용자가 영역(예: 영역 A)에 대응하는 방향을 보게 한다. 사용자(104)가 영역 A의 방향을 바라보는 것에 응답하여, 웨어러블 디바이스(104-1)는 인증을 요청하는 사용자(106)(또는 디바이스(106-2 또는 104-2))의 전부 또는 일부를 캡처할 수 있는 영역의 이미지를 캡처할 수 있다. 이미지는 웨어러블 디바이스(104-2)에 의해 인증된 디바이스 또는 사용자의 데이터베이스에 저장될 수 있다. 일부 구현예에서, 이미지는 대신 예를 들어 서버 컴퓨터(202)에 저장될 수 있다. 이러한 이미지는 향후 인증 요청에 사용될 수 있다.
예를 들어, 제어 가능한 디바이스(108-1)에 액세스하기 위한 제2 요청이 웨어러블 디바이스(104-1)에 의해 수신될 수 있다. 그런 다음, 웨어러블 디바이스(104-1)는 제2 요청과 연관된 이미지를 캡처하도록 웨어러블 디바이스(104-1)의 사용자(104)를 트리거하기 위한 프롬프트를 렌더링할 수 있다. 웨어러블 디바이스(104-1)는 제2 요청과 연관된 이미지를 캡처하라는 명령을 (사용자(104)로부터) 수신할 수 있고 그렇게 할 수 있다. 웨어러블 디바이스(104-1)는 예를 들어 제2 캡처 이미지를 데이터베이스(242)의 이미지와 비교할 수 있다. 데이터베이스(242)의 이미지 중 적어도 하나에 대한 제2 캡처 이미지의 적어도 일부의 일치를 결정하는 것에 응답하여, 웨어러블 디바이스(104-1)는 제2 요청을 수행하도록 제어 가능한 디바이스(108-1)를 트리거할 수 있다.
일부 구현예에서, 요청은 물리적 환경(102)에서 사용자(106)가 말하는 청각적 요청이다. 웨어러블 디바이스(104-1)는 청각적 요청이 수신되는 방향을 결정할 수 있고, 청각적 요청이 수신되는 결정된 방향에 기초하여 물리적 환경의 영역을 결정할 수 있다.
도 6는 본 명세서에 기술된 기법들과 사용될 수 있는 컴퓨터 디바이스(600)와 모바일 컴퓨터 디바이스(650)의 예시를 도시한다. 컴퓨팅 디바이스(600)는 랩톱, 데스크톱, 태블릿, 워크 스테이션, 개인 휴대 정보 단말기, 스마트 디바이스, 가전, 전자 센서 기반 디바이스, 텔레비전, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨팅 디바이스와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 컴퓨팅 디바이스(650)는 개인 휴대 정보 단말기, 셀룰러 전화기, 스마트폰 및 다른 유사한 컴퓨팅 디바이스들과 같은 다양한 형태의 모바일 디바이스들을 나타내기 위한 것이다. 여기에 도시된 컴포넌트들, 그들의 연결 및 관계, 및 그들의 기능은 단지 예시적인 것을 의미하며, 본 명세서에 기술된 및/또는 청구된 발명의 구현을 제한하는 것을 의미하지는 않는다.
컴퓨팅 디바이스(600)는 프로세서(602), 메모리(604), 저장 디바이스(606), 메모리(604) 및 고속 확장 포트(610)에 연결되는 고속 인터페이스(608) 및 저속 버스(614) 및 저장 디바이스(606)에 연결되는 저속 인터페이스(612)를 포함한다. 프로세서(602)는 반도체 기반 프로세서일 수 있다. 메모리(604)는 반도체 기반 메모리일 수 있다. 컴포넌트들(602, 604, 606, 608, 610 및 612) 각각은 다양한 버스들을 사용하여 상호 연결되고, 공통 마더 보드 상에 또는 적절한 다른 방식으로 장착될 수 있다. 프로세서(602)는 메모리(604) 또는 저장 디바이스(606)에 저장된 명령어들을 포함하는, 컴퓨팅 디바이스(600) 내에서 실행하기 위한 명령어들을 프로세싱하여, 고속 인터페이스(608)에 연결된 디스플레이(616)와 같은 외부 입/출력 디바이스상에 GUI에 대한 그래픽 정보를 디스플레이 할 수 있다. 다른 구현예에서, 다수의 프로세서들 및/또는 다수의 버스들이 다수의 메모리들 및 다수의 유형의 메모리와 함께, 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(600)은 필요한 동작의 부분들을 제공하는 각 디바이스와 연결될 수 있다(예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 멀티 프로세서 시스템).
메모리(604)는 컴퓨팅 디바이스(600) 내에 정보를 저장한다. 일 구현예에서, 메모리(604)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현예에서, 메모리(604)는 비휘발성 메모리 유닛 또는 유닛들이다. 또한, 메모리(604)는 자기 또는 광학 디스크와 같은 컴퓨터 판독가능 매체의 다른 형태일 수 있다. 일반적으로, 컴퓨터 판독가능 매체는 비일시적 컴퓨터 판독가능 매체일 수 있다.
저장 디바이스(606)는 컴퓨팅 디바이스(600)에 대한 대형 스토리지를 제공할 수 있다. 일 구현예에서, 저장 디바이스(606)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스를 포함하는 디바이스의 어레이와 같은 컴퓨터 판독가능 매체이거나 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 수록될 수 있다. 컴퓨터 프로그램 제품은 또한 실행될 때 상기 기술된 바와 같은 하나 이상의 방법 및/또는 컴퓨터로 구현되는 방법을 수행하는 명령어들을 포함할 수 있다. 정보 캐리어는 메모리(604), 저장 디바이스(606) 또는 프로세서(602)상의 메모리와 같은 컴퓨터 또는 기계 판독가능 매체이다.
고속 제어기(608)는 컴퓨팅 디바이스(600)에 대한 대역폭 집중 동작들을 관리하는 반면, 저속 제어기(612)는 낮은 대역폭 집중 동작들을 관리한다. 이러한 기능들의 할당은 단지 예시적인 것이다. 일 구현예에서, 고속 제어기(608)는 메모리(604), 디스플레이(616)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(도시되지 않음)를 수용할 수 있는 고속 확장 포트(610)에 연결된다. 구현예에서, 저속 제어기(612)는 저장 디바이스(606) 및 저속 확장 포트(614)에 결합된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입력/출력 디바이스 또는 예를 들어 네트워크 어댑터를 통해 스위치 또는 라우터와 같은 네트워킹 디바이스에 결합될 수 있다.
컴퓨팅 디바이스(600)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 그것은 표준 서버(620)로서 또는 그러한 서버들의 그룹에서 다수로 구현될 수 있다. 또한, 랙 서버 시스템(624)의 일부로서 구현될 수 있다. 또한, 랩톱 컴퓨터(622)와 같은 컴퓨터에서 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(600)로부터의 컴포넌트들은 디바이스(650)와 같은 모바일 디바이스(도시되지 않음) 내의 다른 컴포넌트들과 결합될 수 있다. 상기 디바이스들 각각은 컴퓨팅 디바이스(600, 650) 중 하나 이상을 포함할 수 있고, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(600, 650)로 구성될 수 있다.
컴퓨팅 디바이스(650)는 다른 여러 컴포넌트들 중에서도 특히, 프로세서(652), 메모리(664), 디스플레이(654)와 같은 입/출력 디바이스, 통신 인터페이스(666) 및 송수신기(668)를 포함한다. 디바이스(650)에는 또한 추가적 저장을 제공하기 위해 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스가 제공될 수 있다. 컴포넌트들(650, 652, 664, 654, 666 및 668) 각각은 다양한 버스들을 사용하여 상호 연결되고, 몇몇 컴포넌트들은 공통 마더 보드 상에 또는 적절한 다른 방식으로 장착될 수 있다.
프로세서(652)는 메모리(664)에 저장된 명령어들을 포함하는 컴퓨팅 디바이스(650) 내의 명령어들을 실행할 수 있다. 프로세서는 별개의 그리고 다수의 아날로그 및 디지털 프로세서들을 포함하는 칩들의 칩셋으로서 구현될 수 있다. 프로세서는 예를 들어 사용자 인터페이스들, 디바이스(650)에 의해 실행되는 애플리케이션 및 디바이스(650)에 의한 무선 통신과 같은 디바이스(650)의 다른 컴포넌트들의 조정을 제공할 수 있다.
프로세서(652)는 제어 인터페이스(658) 및 디스플레이(656)에 연결된 디스플레이 인터페이스(656)를 통해 사용자와 통신할 수 있다. 디스플레이(654)는 예를 들어, TFT LCD(박막 트랜지스터 액정 디스플레이) 또는 OLED(유기 발광 다이오드) 디스플레이 또는 다른 적절한 디스플레이 기술을 포함할 수 있다. 디스플레이 인터페이스(656)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(654)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(658)는 사용자로부터 명령을 수신하고, 프로세서(652)에 제출하기 위해 그들을 변환할 수 있다. 추가로, 외부 인터페이스(662)는 프로세서(652)와의 통신에 제공되어 다른 디바이스들과 디바이스(650)의 근거리 통신을 가능하게 할 수 있다. 외부 인터페이스(662)는 예를 들면, 일부 구현예들에서는 유선 통신을 위해 또는 다른 구현예들에서는 무선 통신을 위해 제공될 수 있고, 다수의 인터페이스들도 사용될 수 있다.
메모리(664)는 컴퓨팅 디바이스(650) 내에 정보를 저장한다. 메모리(664)는 컴퓨터 판독가능 매체 또는 매체들, 휘발성 메모리 유닛 또는 유닛들, 비휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로 구현될 수 있다. 또한 확장 메모리(674)는 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(672)를 통해 디바이스(650)에 제공되고 접속될 수 있다. 상기 확장 메모리(674)는 디바이스(650)에 대해 추가 저장 공간을 제공할 수 있거나, 또는 애플리케이션들 또는 디바이스(650)에 대한 다른 정보를 저장할 수 있다. 특히, 확장 메모리(674)는 전술한 프로세스들을 수행하거나 보충하는 명령어들을 포함할 수 있으며, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들면, 확장 메모리(674)는 디바이스(650)에 대한 보안 모듈로서 제공될 수 있고, 디바이스(650)의 보안 사용을 허용하는 명령어들로 프로그래밍될 수 있다. 또한, 보안 어플리케이션들은 SIMM 카드 상의 식별 정보를 해킹할 수 없는 방식으로 배치하는 것과 같이, SIMM 카드들을 통해 추가 정보와 함께 제공될 수 있다.
메모리는 예를 들어, 후술되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현예에서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 수록된다. 컴퓨터 프로그램 제품은 또한 실행될 때 상기 기술된 바와 같은 하나 이상의 방법을 수행하는 명령어들을 포함한다. 정보 캐리어는 예를 들어 송수신기(668) 또는 외부 인터페이스(662)를 통해 수신될 수 있는 메모리(664), 확장 메모리(674) 또는 프로세서(652)상의 메모리와 같은 컴퓨터 또는 기계 판독가능 매체이다.
디바이스(650)는 필요에 따라 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(666)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(666)는 다른 것들 중에서도 GSM 보이스 콜들, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드들 또는 프로토콜들 하에서의 통신을 위해 제공될 수 있다. 이러한 통신은 예를 들어, 무선 주파수 송수신기(668)를 통해 발생될 수 있다. 추가로, 블루투스, Wi-Fi 또는 다른 트랜시버(도시되지 않음)를 사용하는 것과 같은 단거리 통신이 발생될 수 있다. 추가로, GPS(Global Positioning System) 수신기 모듈(670)은 디바이스(650)상에서 실행되는 애플리케이션들에 의해 적절히 사용될 수 있는 추가적인 네비게이션 및 위치 관련 무선 데이터를 디바이스(650)에 제공할 수 있다.
디바이스(650)는 또한 사용자로부터 발화된 정보를 수신하고 그것을 이용가능한 디지털 정보로 변환할 수 있는 오디오 코덱(660)을 사용하여 청각적으로 통신할 수 있다. 오디오 코덱(660)은 마찬가지로, 예를 들어 디바이스(650)의 핸드셋 내의 스피커를 통하는 것과 같이, 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 보이스 전화 콜들로부터의 사운드 포함할 수 있고, 기록된 사운드(예를 들어, 음성 메시지, 음악 파일 등)를 포함할 수 있고, 또한 디바이스(650)상에서 동작하는 애플리케이션들에 의해 생성된 사운드를 포함할 수 있다.
컴퓨팅 디바이스(650)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들면, 그것은 셀룰러 전화(680)로서 구현될 수 있다. 또한 스마트폰(682), 개인 휴대 정보 단말기(PDA), 또는 다른 유사한 이동 디바이스의 일부로서 구현될 수 있다.
본 명세서에 기술된 시스템들 및 기법들의 다양한 구현예들은 디지털 전자 회로, 집적 회로, 특수하게 설계된 ASIC들(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 이들 다양한 구현예들은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행가능하고 및/또는 인터프리트가능한 하나 이상의 컴퓨터 프로그램들에서의 구현예를 포함할 수 있고, 이는 전용 또는 범용일 수 있고, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령어들을 수신하고 그에 데이터 및 명령어들을 전송하기 위해 연결될 수 있다.
이들 컴퓨터 프로그램(모듈, 프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 알려짐)은 프로그래머블 프로세서에 대한 기계 명령어들을 포함하며, 하이레벨 절차어 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계어에서 구현될 수 있다. 본 명세서에서 사용된 바와 같이, 용어 "기계 판독가능 매체", "컴퓨터 판독가능 매체"는 기계 판독가능 신호로서 기계 명령어들을 수신하는 기계 판독가능 매체를 포함하여, 기계 명령어들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 임의의 컴퓨터 프로그램 물, 디바이스 및/또는 디바이스 예를 들어, 자기 디스크, 광학 디스크, 메모리, 프로그래머블 로직 디바이스(PLD)를 지칭한다. 용어 "기계 판독가능 신호"는 기계 명령어들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 임의의 신호를 지칭한다.
사용자와의 인터렉션을 제공하기 위해, 본 명세서에서 기술된 시스템들 및 기법들은 사용자에게 정보를 디스플레이하기 위해 디스플레이 디바이스(예를 들어, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터 또는 LED(light emitting diode)) 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)을 갖는 컴퓨터에서 구현될 수 있다. 다른 종류의 디바이스들이 사용자와의 인터렉션을 제공하기 위해 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각적 피드백(예: 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.
본 명세서에서 기술된 시스템들 및 기법들은 예를 들어 데이터 서버와 같은 백엔드 컴포넌트, 애플리케이션 서버와 같은 미들웨어 컴포넌트 또는 그래픽 사용자 인터페이스를 가지는 사용자 컴퓨터 또는 사용자가 본 명세서에 기술된 시스템들 및 기법들의 구현예와 인터렉션할 수 있는 웹 브라우저와 같은 프론트엔드 컴포넌트 또는 하나 이상의 상기 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예시들은 LAN(local area network), WAN(wide area network) 및 인터넷을 포함한다.
컴퓨팅 시스템은 사용자들 및 서버들을 포함할 수 있다. 사용자와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터렉션한다. 사용자와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 사용자-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다.
일부 실시예에서, 도 6에 도시된 컴퓨팅 디바이스는 가상 현실 또는 헤드셋(VR/AR 헤드셋/HMD 디바이스(690))과 인터페이싱하는 센서들을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(650) 또는 도 6에 도시된 다른 컴퓨팅 디바이스에 포함된 하나 이상의 센서는 AR/VR 헤드셋(690)에 입력을 제공하거나 일반적으로 AR/VR 공간에 입력을 제공할 수 있다. 센서는 터치 스크린, 가속도계, 자이로스코프, 압력 센서, 생체 센서, 온도 센서, 습도 센서 및 주변광 센서를 포함할 수 있지만 이에 제한되지 않는다. 컴퓨팅 디바이스(650)는 AR/VR 공간으로의 입력으로서 사용될 수 있는 AR/VR 공간 내의 컴퓨팅 디바이스의 절대 위치 및/또는 검출된 회전을 결정하기 위해 센서들을 사용할 수 있다. 예를 들어, 컴퓨팅 디바이스(650)는 제어기, 레이저 포인터, 키보드, 무기 등과 같은 가상 오브젝트로서 AR/VR 공간에 통합될 수 있다. AR/VR 공간에 통합된 경우 사용자에 의한 컴퓨팅 디바이스/가상 오브젝트의 위치는 사용자로 하여금 컴퓨팅 디바이스를 위치시켜 AR/VR 공간에서 특정 방식으로 가상 오브젝트를 보게 한다.
일부 실시예에서, 컴퓨팅 디바이스(650)에 포함되거나 연결되는 하나 이상의 입력 디바이스들이 AR/VR 공간에 대한 입력으로 사용될 수 있다. 입력 디바이스들은 터치 스크린, 키보드, 하나 이상의 버튼들, 트랙 패드, 터치 패드, 포인팅 디바이스, 마우스, 트랙볼, 조이스틱, 카메라, 마이크로폰, 이어폰 또는 입력 기능이 있는 버드, 게임 컨트롤러 또는 기타 연결 가능한 입력 디바이스들을 포함할 수 있으며, 이제 한정되지 않는다. 컴퓨팅 디바이스가 AR/VR 공간에 통합될 때 컴퓨팅 디바이스(650)에 포함된 입력 디바이스와 인터렉션하는 사용자는 특정한 액션이 AR/VR 공간에서 발생하도록 할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(650)에 포함된 하나 이상의 출력 디바이스들은 AR/VR 공간에서 AR/VR 헤드셋(690)의 사용자에게 출력 및/또는 피드백을 제공할 수 있다. 출력 및 피드백은 시각적, 촉각적 또는 청각적일 수 있다. 출력 및/또는 피드백은 AR/VR 공간 또는 가상 환경 렌더링, 진동, 하나 이상의 조명 또는 스트로브의 켜고 끄기 또는 깜박임 및/또는 플래시, 알람 울리기, 차임을 치는 것, 노래 연주 및 오디오 파일의 재생 등을 포함할 수 있으며, 이에 한정되지 않는다. 출력 디바이스들은 진동 모터, 진동 코일, 압전 디바이스, 정전기 디바이스, 발광 다이오드(LED), 스트로브 및 스피커를 포함할 수 있으며, 이제 한정되지 않는다.
일부 실시예에서, 컴퓨팅 디바이스(650)는 AR/VR 시스템을 생성하기 위해 AR/VR 헤드셋(690) 내에 배치될 수 있다. AR/VR 헤드셋(690)은 AR/VR 헤드셋(690) 내의 적절한 위치에 스마트폰(682)과 같은 컴퓨팅 디바이스(650)의 배치를 허용하는 하나 이상의 포지셔닝 엘리먼트들을 포함할 수 있다. 이러한 실시예에서, 스마트폰(682)의 디스플레이는 AR/VR 공간 또는 가상 환경을 나타내는 입체 이미지를 렌더링할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(650)는 컴퓨터 생성 3D 환경에서 다른 오브젝트로서 표시될 수 있다. 사용자에 의한 컴퓨팅 디바이스(650)와의 인터렉션들(예를 들어, 회전, 흔들기, 터치스크린 터치, 터치 스크린을 가로지르는 손가락 스와이핑)은 AR/VR 공간에서 오브젝트와의 인터렉션들로서 해석될 수 있다. 단지 하나의 예로서, 컴퓨팅 디바이스는 레이저 포인터일 수 있다. 이러한 예에서, 컴퓨팅 디바이스(650)는 컴퓨터 생성 3D 환경에서 가상 레이저 포인터로 보여진다. 사용자가 컴퓨팅 디바이스(650)를 조작함에 따라, AR/VR 공간에서의 사용자는 레이저 포인터의 움직임을 보게된다. 사용자는 컴퓨팅 디바이스(650)상의 AR/VR 환경 또는 AR/VR 헤드셋(690)상의 컴퓨팅 디바이스(650)와의 인터렉션들로부터 피드백을 수신한다.
일부 실시예에서, 컴퓨팅 디바이스(650)는 터치스크린을 포함할 수 있다. 예를 들어, 사용자는 터치스크린에서 일어나는 일을 AR/VR 공간에서 일어나는 일처럼 보이게하는 특정한 방식으로 터치스크린과 인터렉션할 수 있다. 예를 들어, 사용자는 터치스크린에 디스플레이된 콘텐츠를 확대하기 위해 핀칭-유형 모션을 사용할 수 있다. 터치스크린 상의 상기 핀칭-유형 모션은 AR/VR 공간에 제공된 정보가 확대되도록 할 수 있다. 일부 구현예에서, 컴퓨팅 디바이스는 컴퓨터로 생성된 3D 환경에서 가상 책으로서 렌더링될 수 있다. AR/VR 공간에서 책의 페이지는 AR/VR 공간에 디스플레이될 수 있고, 터치스크린을 통해 사용자의 손가락을 스와이핑하는 것은 가상 책의 페이지를 넘기거나 뒤집는 것으로 해석될 수 있다. 각 페이지가 넘김/뒤집힘에 따라, 페이지 콘텐츠가 변화를 볼 수 있음에 더하여, 책에 페이지를 넘기는 소리와 같은 오디오 피드백이 사용자에게 제공될 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(예를 들어, 마우스, 키보드)에 더하여 하나 이상의 입력 디바이스들이 컴퓨터로 생성된 3D 환경에서 렌더링 될 수 있다. 렌더링된 입력 디바이스(예 : 렌더링된 마우스, 렌더링된 키보드)는 AR/VR 공간에서 렌더링된 대로 사용되어 AR/VR 공간의 오브젝트들을 제어할 수 있다.
다수의 실시예들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 본 발명의 정신과 범위로부터 벗어나지 않고 이루어질 수 있다는 것이 이해될 것이다.
추가로, 도면들에 도시된 논리 흐름들은 원하는 결과들을 달성하기 위해 특정한 도시된 순서, 또는 시계열적 순서를 반드시 필요로 하지 않는다. 추가로, 다른 단계들이 제공될 수 있거나, 단계들이 기술된 흐름으로부터 생략될 수 있고, 다른 컴포넌트들이 기술된 시스템에 추가되거나 그로부터 제거될 수 있다. 따라서, 다른 실시예들도 다음의 청구항들의 범위 내에 있다.
상기 기술에 더하여, 사용자가 본 명세서에 기술된 시스템들, 프로그램들, 디바이스들, 네트워크들 또는 구성들이 사용자 정보의 수집(예를 들어, 사용자의 소셜 네트워크에 관한 정보, 사회적 액션들 또는 활동들, 직업, 사용자의 선호들 또는 사용자의 현재 위치)을 하는 경우 및 콘텐츠 또는 서버로부터 통신에 사용자가 전송되는 경우에 관한 선택을 하게 하는 제어들이 사용자에게 제공된다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 다양한 방식들로 취급되어, 사용자 정보는 제거된다. 예를 들면, 사용자의 신원은 사용자에 관한 사용자 정보가 결정될 수 없도록 취급되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 수준으로), 사용자의 특정한 위치가 결정될 수 없도록 한다. 따라서, 사용자는 사용자에 관한 어떤 정보가 수집될지, 정보가 어떻게 사용될지, 그리고 어떤 정보가 사용자에게 제공될지에 관한 제어를 가질 수 있다.
컴퓨터 시스템(예: 컴퓨팅 디바이스)은 무선 주파수(RF), 마이크로파 주파수(MWF), 및/또는 적외선 주파수(IRF) 무선 통신 기술 및 네트워크를 통한 통신에 적합한 프로토콜를 포함하는 임의의 알려진 무선 통신 기술 및 프로토콜을 사용하여, 네트워크 서버와 설정된 통신 링크를 통해 네트워크를 통해 네트워크 서버와 무선으로 통신하도록 구성될 수 있다.
본 명세서의 양태에 따라, 본 명세서에 기술된 다양한 기법의 구현예는 디지털 전자 회로에서 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에서 구현될 수 있다. 구현예는 데이터 프로세싱 장치(예: 프로그래머블 프로세서, 컴퓨터 또는 다수의 컴퓨터)에 의해 프로세싱하거나 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 프로그램 물(예: 정보 캐리어에 유형적으로 수록된 컴퓨터 프로그램, 기계 판독가능 저장 디바이스, 컴퓨터 판독가능 매체, 유형적 컴퓨터 판독가능 매체)로서 구현될 수 있다. 일부 구현예에서, 유형적 컴퓨터 판독가능 저장 매체는 실행될 때 프로세서로 하여금 프로세스를 수행하게 하는 명령어를 저장하도록 구성될 수 있다. 상기 기술된 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어를 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 독립 실행형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴으로서 또는 컴퓨팅 환경에서 사용하기에 적합한 기타 단위를 포함하는 임의의 형태로 배포될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 하나의 사이트에서 또는 다수의 사이트에 걸쳐서 분산되어 있고 통신 네트워크에 의해 상호연결된 다수의 컴퓨터에서 프로세싱되도록 배포될 수 있다.
본 명세서에 개시된 특정 구조적 및 기능적 세부사항은 예시적 실시예를 설명하기 위한 목적으로만 대표된다. 그러나, 예시적 실시예는 많은 대안적인 형태로 구현될 수 있으며, 여기에서 설명하는 실시예로만 제한되는 것으로 해석되어서는 안 된다.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 명세서에 사용된 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 다르게 나타내지 않는 한 복수 형태도 포함하는 것으로 의도된다. 본 명세서에서 사용될 때 "comprises", "comprising", "includes" 및/또는 "including"이라는 용어는 명시된 구성, 단계, 동작, 엘리먼트 및/또는 컴포넌트를 포함하지만, 하나 이상의 다른 구성, 단계, 동작, 엘리먼트, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다.
또한, 엘리먼트가 다른 엘리먼트 상에 "결합", "연결"되거나 또는 다른 엘리먼트에 "응답"하거나 또는 다른 엘리먼트 "상에" 존재하는 것으로 언급되는 경우, 엘리먼트는 다른 엘리먼트에 직접 결합, 연결되거나 그에 응답하거나 그 위에 존재하거나 또는 중간 엘리먼트들이 존재할 수 있다는 것이 이해될 것이다. 대조적으로, 엘리먼트가 다른 엘리먼트에 "직접 결합", "직접 연결" 또는 "직접 응답" 또는 "바로 위"에 존재하는 것으로 언급되는 경우, 중간 엘리먼트가 존재하지 않을 수 있다. 본 명세서에 사용된 바와 같이, "및/또는"이라는 용어는 연관된 나열된 아이템 중 하나 이상의 임의의 그리고 모든 조합을 포함한다.
"beneath", "below", "lower", "above", "upper" 등과 같은 공간적으로 상대적인 용어는 도면에 도시된 다른 엘리먼트(들) 또는 구성(들)과 관련하여 하나의 엘리먼트 또는 구성을 설명하기 위한 설명의 편의를 위해 본 명세서에서 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시된 배향에 추가하여 사용 또는 동작 중인 디바이스의 다른 배향을 포함하도록 의도된 것으로 이해될 것이다. 예를 들어, 도면의 디바이스가 뒤집힌 경우 다른 엘리먼트 또는 구성 "아래(below)" 또는 "아래(beneath)"로 설명된 엘리먼트는 다른 엘리먼트 또는 구성 "위(above)"를 배향한다. 따라서 "아래(below)"라는 용어는 위와 아래의 배향을 모두 포함할 수 있다. 디바이스는 다르게 배향될 수 있으며(70도 또는 다른 배향으로 회전), 본 명세서에서 사용된 공간적으로 상대적인 기술자는 그에 따라 해석될 수 있다.
개념의 예시적 실시예는 예시적 실시예의 이상적인 실시예(및 중간 구조)의 개략도인 도시인 단면도를 참조하여 본 명세서에 설명된다. 이와 같이, 예를 들어 제조 기법 및/또는 허용 오차의 결과로서 예시의 형상으로부터의 변형이 예상된다. 따라서, 설명된 개념의 예시적 실시예는 본 명세서에 예시된 영역의 특정 형상으로 제한되는 것으로 해석되어서는 안 되며, 예를 들어 제조로부터 초래되는 형상의 편차를 포함해야 한다. 따라서, 도면에 도시된 영역은 본질적으로 도식적이며, 그 형상은 디바이스의 영역의 실제 형상을 예시하기 위한 것이 아니며, 예시적 실시예의 범위를 제한하기 위한 것이 아니다.
"제1", "제2" 등의 용어가 다양한 엘리먼트를 설명하기 위해 본 명세서에서 사용될 수 있지만, 이러한 엘리먼트는 이러한 용어에 의해 제한되어서는 안 된다는 것이 이해될 것이다. 이러한 용어는 한 엘리먼트를 다른 엘리먼트와 구별하는데만 사용된다. 따라서, 현재 실시예의 교시를 벗어나지 않으면서 "제1" 엘리먼트는 "제2" 엘리먼트로 명명될 수 있다.
다르게 정의되지 않는 한, 본 명세서에서 사용되는 용어(기술적, 과학적 용어 포함)는 해당 개념이 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 것과 같은 용어는 관련 기술 및/또는 본 명세서의 맥락에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며 본 명세서에 명시적으로 정의되지 않는 한 이상화되거나 지나치게 형식적인 의미로 해석되지 않을 것임을 이해해야 한다.
기술된 구현예의 특정 구성들이 본 명세서에 기술된 바와 같이 설명되었지만, 많은 수정, 대체, 변경 및 균등물이 통상의 기술자로 인해 발생할 것이다. 그러므로, 첨부된 청구범위는 구현의 범위 내에 있는 그러한 수정 및 변경을 포함하도록 의도된 것으로 이해되어야 한다. 이들 실시예는 제한적인 것이 아닌 예시일 뿐이며, 형태 및 세부사항의 다양한 변경이 이루어질 수 있음이 이해되어야 한다. 본 명세서에 기술된 장치 및/또는 방법의 임의의 부분은 상호 배타적인 조합을 제외하고는 임의의 조합으로 결합될 수 있다. 본 명세서에 기술된 구현예들은 기재된 다른 구현예들의 기능, 컴포넌트 및/또는 구성들의 다양한 조합 및/또는 서브 조합을 포함할 수 있다.

Claims (20)

  1. 컴퓨터로 구현되는 방법으로서,
    웨어러블 디바이스 상의 센서에 의해, 네트워크와 연관되고 물리적 환경에 대해 구성된 식별자를 포함하는 적어도 하나의 클라우드 앵커를 검출하는 단계;
    상기 적어도 하나의 클라우드 앵커와 연관된 위치가 상기 웨어러블 디바이스의 임계 거리 내에 있다는 것을 검출하고, 상기 웨어러블 디바이스가 상기 적어도 하나의 클라우드 앵커에 액세스할 수 있다는 것을 검출함에 응답하여, 상기 적어도 하나의 클라우드 앵커로부터 식별자의 추출을 트리거하는 단계; 및
    상기 추출된 식별자에 대응하는 수신된 인증에 기초하여 상기 웨어러블 디바이스를 상기 네트워크에 참여시키는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  2. 청구항 1에 있어서,
    상기 식별자는 SSID 및 로그인 자격증명을 포함하며;
    상기 네트워크는 Wi-Fi 네트워크이며;
    상기 식별자는 상기 적어도 하나의 제어 가능한 디바이스와 연관되며, 상기 적어도 하나의 제어 가능한 디바이스는 상기 네트워크에 대한 액세스를 제공하는 디바이스이며; 그리고
    상기 인증은 상기 적어도 하나의 제어 가능한 디바이스로부터 수신되는, 컴퓨터로 구현되는 방법.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 식별자는 증강 현실(AR) 환경의 3D 맵과 연관되며, 상기 3D 맵은 물리적 환경 내의 적어도 하나의 제어 가능한 디바이스에 의해 저장된 물리적 환경에 매핑된 시각적 데이터를 포함하고; 그리고
    상기 웨어러블 디바이스가 상기 적어도 하나의 클라우드 앵커에 대한 액세스를 갖는 것을 검출하는 것은 상기 웨어러블 디바이스가 상기 물리적 환경에 매핑된 시각적 데이터의 적어도 일부와 일치하도록 상기 센서로부터의 데이터를 제공하는지 여부를 결정하는 것을 포함하는, 컴퓨터로 구현되는 방법.
  4. 청구항 2에 있어서, 상기 적어도 하나의 제어 가능한 디바이스는 상기 웨어러블 디바이스의 위치가 더 이상 상기 임계 거리 내에 있지 않다는 것을 검출함에 응답하여 상기 네트워크로부터 상기 웨어러블 디바이스를 인증 해제하도록 구성되는, 컴퓨터로 구현되는 방법.
  5. 청구항 1 내지 4 중 어느 한 항에 있어서, 상기 위치는 상기 적어도 하나의 클라우드 앵커가 상기 웨어러블 디바이스의 시야 내에 있다는 것을 검출함에 기초하여 결정되는, 컴퓨터로 구현되는 방법.
  6. 컴퓨터로 구현되는 방법으로서,
    물리적 환경에서 제어 가능한 디바이스와 통신 가능하게 결합된 웨어러블 디바이스에서, 상기 제어 가능한 디바이스에 대한 액세스 요청을 수신하는 단계, 상기 요청은 인증되지 않은 사용자 또는 디바이스로부터 수신된 것으로 결정되며;
    상기 물리적 환경 내에서 웨어러블 디바이스의 포즈를 결정하는 단계;
    상기 웨어러블 디바이스에서, 상기 인증되지 않은 사용자 또는 디바이스에 의한 상기 제어 가능한 디바이스에 대한 액세스의 허용 또는 거부를 선택하기 위한 프롬프트를 렌더링하는 단계; 및
    상기 제어 가능한 디바이스에 대한 액세스 허용을 수신함에 응답하여:
    상기 물리적 환경의 영역으로부터 상기 제어 가능한 디바이스에 액세스하기 위해 상기 인증되지 않은 사용자 또는 디바이스를 인증하는 단계, 상기 영역은 상기 웨어러블 디바이스의 결정된 포즈에 기초하여 정의되며; 및
    상기 요청을 수행하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  7. 청구항 6에 있어서, 상기 영역은 상기 물리적 환경의 구형 이미지 내에 정의되고, 상기 구형 이미지는 상기 물리적 환경과 연관된 적어도 하나의 클라우드 앵커의 3D 맵에 기초하는, 컴퓨터로 구현되는 방법.
  8. 청구항 6 또는 7에 있어서,
    상기 웨어러블 디바이스에서, 상기 웨어러블 디바이스의 사용자가 상기 영역에 대응하는 방향을 보도록 트리거하는 다른 프롬프트를 렌더링하는 단계;
    상기 영역의 이미지를 캡처하는 단계, 상기 이미지는 인증을 요청하는 상기 사용자 또는 디바이스의 일부를 캡처하며; 및
    상기 웨어러블 디바이스에 의해, 인증된 디바이스들 또는 사용자들의 데이터베이스에 상기 이미지를 저장하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  9. 청구항 8에 있어서,
    상기 제어 가능한 디바이스에 액세스하기 위한 제2 요청을 수신하는 단계;
    상기 웨어러블 디바이스에서, 상기 웨어러블 디바이스의 사용자가 상기 제2 요청과 연관된 이미지를 캡처하도록 트리거하는 프롬프트를 렌더링하는 단계;
    상기 제2 요청과 연관된 이미지를 캡처하기 위한 명령을 수신하는 단계;
    제2 캡처된 이미지를 상기 데이터베이스의 이미지들과 비교하는 단계; 및
    상기 제2 캡처된 이미지와 상기 데이터베이스의 이미지들의 적어도 일부의 일치를 결정하는 것에 응답하여, 상기 제2 요청의 수행을 트리거하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  10. 청구항 6 내지 9 중 어느 한 항에 있어서,
    상기 요청은 물리적 환경에서 사용자가 말하는 청각적 요청이며;
    상기 웨어러블 디바이스는 상기 청각적 요청이 수신되는 방향을 결정하고; 그리고
    상기 물리적 환경의 영역은 상기 청각적 요청이 수신되는 결정된 방향에 기초하여 결정되는, 컴퓨터로 구현되는 방법.
  11. 컴퓨팅 시스템으로서,
    센서를 포함하는 웨어러블 디바이스;
    적어도 하나의 컴퓨팅 디바이스; 및
    실행시 상기 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 저장하는 메모리를 포함하며, 상기 동작들은:
    웨어러블 디바이스의 센서에 의해, 네트워크와 연관되고 물리적 환경에 대해 구성된 식별자를 포함하는 적어도 하나의 클라우드 앵커를 검출하는 동작;
    상기 적어도 하나의 클라우드 앵커와 연관된 위치가 상기 웨어러블 디바이스의 임계 거리 내에 있다는 것을 검출하고, 상기 웨어러블 디바이스가 상기 적어도 하나의 클라우드 앵커에 액세스할 수 있다는 것을 검출함에 응답하여, 상기 적어도 하나의 클라우드 앵커로부터 식별자의 추출을 트리거하는 동작; 및
    상기 추출된 식별자에 대응하는 수신된 인증에 기초하여 상기 웨어러블 디바이스를 상기 네트워크에 참여시키는 동작을 포함하는, 컴퓨팅 시스템.
  12. 청구항 11에 있어서,
    상기 식별자는 SSID 및 로그인 자격증명을 포함하며;
    상기 식별자는 상기 적어도 하나의 제어 가능한 디바이스와 연관되며, 상기 적어도 하나의 제어 가능한 디바이스는 상기 네트워크에 대한 액세스를 제공하는 디바이스이며; 그리고
    상기 인증은 상기 적어도 하나의 제어 가능한 디바이스로부터 수신되는, 컴퓨팅 시스템.
  13. 청구항 12에 있어서, 상기 적어도 하나의 제어 가능한 디바이스는 상기 웨어러블 디바이스의 위치가 더 이상 상기 임계 거리 내에 있지 않다는 것을 검출함에 응답하여 상기 네트워크로부터 상기 웨어러블 디바이스를 인증 해제하도록 구성되는, 컴퓨팅 시스템.
  14. 청구항 11 내지 13 중 어느 한 항에 있어서,
    상기 식별자는 증강 현실(AR) 환경의 3D 맵과 연관되며, 상기 3D 맵은 물리적 환경 내의 적어도 하나의 제어 가능한 디바이스에 의해 저장된 물리적 환경에 매핑된 시각적 데이터를 포함하고; 그리고
    상기 웨어러블 디바이스가 상기 적어도 하나의 클라우드 앵커에 대한 액세스를 갖는 것을 검출하는 것은 상기 웨어러블 디바이스가 상기 물리적 환경에 매핑된 시각적 데이터의 적어도 일부와 일치하도록 상기 센서로부터의 데이터를 제공하는지 여부를 결정하는 것을 포함하는, 컴퓨팅 시스템.
  15. 청구항 11 내지 14 중 어느 한 항에 있어서, 상기 위치는 상기 적어도 하나의 클라우드 앵커가 상기 웨어러블 디바이스의 시야 내에 있다는 것을 검출함에 기초하여 결정되는, 컴퓨팅 시스템.
  16. 명령어들이 저장된 비일시적 기계 판독가능 매체로서, 상기 명령어들은 프로세서에 의해 실행될 때 컴퓨팅 디바이스로 하여금:
    웨어러블 디바이스 상의 센서에 의해, 네트워크와 연관되고 물리적 환경에 대해 구성된 식별자를 포함하는 적어도 하나의 클라우드 앵커를 검출하게 하고;
    상기 적어도 하나의 클라우드 앵커와 연관된 위치가 상기 웨어러블 디바이스의 임계 거리 내에 있다는 것을 검출하고, 상기 웨어러블 디바이스가 상기 적어도 하나의 클라우드 앵커에 액세스할 수 있다는 것을 검출함에 응답하여, 상기 적어도 하나의 클라우드 앵커로부터 식별자의 추출을 트리거하게 하고; 그리고
    상기 추출된 식별자에 대응하는 수신된 인증에 기초하여 상기 웨어러블 디바이스를 상기 네트워크에 참여하게 하는, 기계 판독가능 매체.
  17. 청구항 16에 있어서,
    상기 식별자는 SSID 및 로그인 자격증명을 포함하며;
    상기 식별자는 상기 적어도 하나의 제어 가능한 디바이스와 연관되며, 상기 적어도 하나의 제어 가능한 디바이스는 상기 네트워크에 대한 액세스를 제공하는 디바이스이며; 그리고
    상기 인증은 상기 적어도 하나의 제어 가능한 디바이스로부터 수신되는, 기계 판독가능 매체.
  18. 청구항 17에 있어서, 상기 적어도 하나의 제어 가능한 디바이스는 상기 웨어러블 디바이스의 위치가 더 이상 상기 임계 거리 내에 있지 않다는 것을 검출함에 응답하여 상기 네트워크로부터 상기 웨어러블 디바이스를 인증 해제하도록 구성되는, 기계 판독가능 매체.
  19. 청구항 16 내지 18 중 어느 한 항에 있어서,
    상기 식별자는 증강 현실(AR) 환경의 3D 맵과 연관되며, 상기 3D 맵은 물리적 환경 내의 적어도 하나의 제어 가능한 디바이스에 의해 저장된 물리적 환경에 매핑된 시각적 데이터를 포함하고; 그리고
    상기 웨어러블 디바이스가 상기 적어도 하나의 클라우드 앵커에 대한 액세스를 갖는 것을 검출하는 것은 상기 웨어러블 디바이스가 상기 물리적 환경에 매핑된 시각적 데이터의 적어도 일부와 일치하도록 상기 센서로부터의 데이터를 제공하는지 여부를 결정하는 것을 포함하는, 기계 판독가능 매체.
  20. 청구항 16 내지 19 중 어느 한 항에 있어서, 상기 위치는 상기 적어도 하나의 클라우드 앵커가 상기 웨어러블 디바이스의 시야 내에 있다는 것을 검출함에 기초하여 결정되는, 기계 판독가능 매체.
KR1020237022110A 2020-12-09 2020-12-09 인증에 클라우드 앵커 활용 KR20230116876A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/070886 WO2022125125A1 (en) 2020-12-09 2020-12-09 Leveraging cloud anchors in authentication

Publications (1)

Publication Number Publication Date
KR20230116876A true KR20230116876A (ko) 2023-08-04

Family

ID=73856398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237022110A KR20230116876A (ko) 2020-12-09 2020-12-09 인증에 클라우드 앵커 활용

Country Status (6)

Country Link
US (1) US20220182836A1 (ko)
EP (1) EP4260591A1 (ko)
JP (1) JP2024504243A (ko)
KR (1) KR20230116876A (ko)
CN (1) CN116458186A (ko)
WO (1) WO2022125125A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6776334B1 (en) * 2001-02-22 2004-08-17 Advanced Micro Devices, Inc. System and method for determining the location of a mobile device within a wireless network
KR101836876B1 (ko) * 2011-03-02 2018-03-09 삼성전자주식회사 휴대용 단말기에서 네트워크 연결을 수행하기 위한 장치 및 방법
TWI495381B (zh) * 2012-03-27 2015-08-01 Flyfish Holdings Ltd Two - dimensional bar code connection method
US11714890B2 (en) * 2020-04-16 2023-08-01 Capital One Services, Llc Systems and methods for authenticating users

Also Published As

Publication number Publication date
CN116458186A (zh) 2023-07-18
WO2022125125A1 (en) 2022-06-16
US20220182836A1 (en) 2022-06-09
EP4260591A1 (en) 2023-10-18
JP2024504243A (ja) 2024-01-31

Similar Documents

Publication Publication Date Title
US20200233502A1 (en) Position-based location indication and device control
US9727211B2 (en) Systems and methods for unlocking a wearable device
KR102099834B1 (ko) 전자장치 및 전자장치의 동작방법
WO2017187708A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102251253B1 (ko) 가상 환경에서 제스처 기반 액세스 제어
JP6718460B2 (ja) ヘッドアップ・ディスプレイを介する装置対話のための方法、システム、およびコンピュータ・プログラム
CN115362440A (zh) 经由凝视跟踪的认证和校准
US12014466B2 (en) Triggering a collaborative augmented reality environment using an ultrasound signal
KR20230116876A (ko) 인증에 클라우드 앵커 활용
US20230360264A1 (en) Identifying a position of a controllable device using a wearable device
CN116802632A (zh) 用于用户认证设备的系统和方法