KR102393271B1 - 생체 인증 데이터를 추적하기 위한 증강 현실 시스템들 및 방법들 - Google Patents

생체 인증 데이터를 추적하기 위한 증강 현실 시스템들 및 방법들 Download PDF

Info

Publication number
KR102393271B1
KR102393271B1 KR1020177035995A KR20177035995A KR102393271B1 KR 102393271 B1 KR102393271 B1 KR 102393271B1 KR 1020177035995 A KR1020177035995 A KR 1020177035995A KR 20177035995 A KR20177035995 A KR 20177035995A KR 102393271 B1 KR102393271 B1 KR 102393271B1
Authority
KR
South Korea
Prior art keywords
user
processing module
local processing
augmented reality
eye
Prior art date
Application number
KR1020177035995A
Other languages
English (en)
Other versions
KR20180008632A (ko
Inventor
개리 알. 브래드스키
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20180008632A publication Critical patent/KR20180008632A/ko
Application granted granted Critical
Publication of KR102393271B1 publication Critical patent/KR102393271B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/16—Implementing security features at a particular protocol layer
    • H04L63/168—Implementing security features at a particular protocol layer above the transport layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/22—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실 디스플레이 디바이스를 통해 트랜잭션을 수행하는 방법은 사용자로부터 생체 인증 데이터를 캡처하는 단계, 캡처된 생체 인증 데이터에 적어도 부분적으로 기반하여 사용자의 아이덴티티를 결정하는 단계, 및 결정된 아이덴티티에 기반하여 트랜잭션을 위해 사용자를 인증하는 단계를 포함한다.

Description

생체 인증 데이터를 추적하기 위한 증강 현실 시스템들 및 방법들
[0001] 본 개시내용은 증강 현실(AR) 디바이스를 통하여 수행되는 비지니스 트랜잭션들을 가능하게 하기 위해 생체 인증 데이터를 활용하기 위한 시스템들 및 방법들에 관한 것이다.
[0002] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들에 대한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 이미지들 또는 이들 이미지들의 부분들은, 이들이 실제로서 존재하는 것으로 보이거나, 또는 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성 없이 디지털 또는 가상 이미지 정보의 제시를 수반한다. 증강 현실 또는 "AR" 시나리오는 통상적으로 사용자 주위 실세계의 가시화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 제시를 수반한다.
[0003] 예컨대, 도 1을 참조하면, 증강 현실 장면이 묘사되고, AR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(1120)을 특징으로 하는 실세계 공원형 세팅을 본다. 이들 아이템들에 외에도, AR 기술의 사용자는 또한 실세계 플랫폼(1120) 상에 서 있는 로봇 동상(1110), 및 날고 있는 만화형 아바타 캐릭터(2)를 인식하지만, 이들 엘리먼트들(2, 1110)은 실세계에 존재하지 않는다. 인간 시각 인식 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미지 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 가능하게 하는 그런 증강 현실 장면을 생성하는 것은 난제이다.
[0004] 그런 AR 디바이스가 모든 타입들의 가상 콘텐츠를 사용자에게 제시하기 위하여 사용될 수 있다는 것이 구상된다. 하나 또는 그 초과의 실시예들에서, AR 디바이스들은 다양한 게이밍 애플리케이션들의 맥락에서 사용될 수 있어서, 사용자들이 현실 상황들을 모방하는 단일-플레이어 또는 다중-플레이어 비디오/증강 현실 게임들에 참여하게 할 수 있다. 예컨대, 퍼스널 컴퓨터에서 비디오 게임을 플레이하기 보다, AR 사용자는 현실과 매우 근접하게 비슷한 조건들에서 더 큰 규모로 게임을 플레이할 수 있다(예컨대, AR 사용자가 공원에서 산책하고 있을 때 실제 빌딩 뒤에서 "실물 크기(true-to-scale)" 3D 괴물들이 나타날 수 있음, 등). 실제로, 이것은 게이밍 경험의 신뢰성 및 즐거움을 크게 향상시킨다.
[0005] 도 1이 게이밍 애플리케이션들의 맥락에서 AR 디바이스들의 가능성을 예시하지만, AR 디바이스들은 무수한 다른 애플리케이션들에 사용될 수 있고, 그리고 일상적인 컴퓨팅 디바이스들(예컨대, 퍼스널 컴퓨터들, 셀 폰들, 테블릿 디바이스들 등)을 대신할 것으로 예상될 수 있다. 전략적으로 가상 콘텐츠를 사용자의 시야에 배치함으로써, AR 디바이스는, 사용자가 다양한 컴퓨팅 태스크들(예컨대, 이메일 체크, 웹상에서 용어 검색, 다른 AR 사용자들과 화상 회의, 영화 감상 등)을 수행하도록 허용함과 동시에 사용자의 물리적 환경에 연결되는 보행식 퍼스널 컴퓨터로서 생각될 수 있다. 예컨대, 책상에서의 물리적 디바이스로 제한되기보다, AR 사용자는 "이동 중"일 수 있지만(예컨대, 걷는 중, 매일 통근 중, 그/그녀의 사무실 이외의 물리적 위치, 그/그녀의 컴퓨터로부터 떨어져 있는, 등), 예컨대 여전히 가상 이메일 스크린을 끌어당겨 이메일을 체크할 수 있거나, 또는 AR 디바이스 상의 스크린을 가상으로 파퓰레이팅(populating) 함으로써 친구와 비디오 회의를 할 수 있거나, 또는 다른 예에서 임시-방편의 위치에서 가상 사무실을 구성할 수 있다. 무수한 유사한 가상 현실/증강 현실 시나리오들이 구상될 수 있다.
[0006] 근본적인 컴퓨팅 기술의 성질에서의 이런 변화는 장점들과 난제들의 몫이 따른다. 인간 시각 시스템의 생리적인 한계들에 민감한 증강 현실 장면, 이를테면 위에서 설명된 것들을 제시하기 위하여, AR 디바이스는 사용자의 물리적 환경 내 하나 또는 그 초과의 실제 객체들에 관련하여 원하는 가상 콘텐츠를 투사하기 위해 사용자의 물리적 주변들을 인지하여야 한다. 이 목적을 위하여, AR 디바이스에는 통상적으로 다양한 추적 디바이스들(예컨대, 눈-추적 디바이스들, GPS 등), 카메라들(예컨대, 시야 카메라들, 적외선 카메라들, 심도 카메라들 등) 및 센서들(예컨대, 가속도계들, 자이로스코프들 등)이 갖추어져, 사용자의 주변들에서의 다양한 실제 객체들에 관련하여 사용자의 포지션, 배향, 거리 등을 평가하여, 실세계의 객체들 및 다른 그런 기능성들을 검출 및 식별한다.
[0007] AR 디바이스가 AR 사용자 및 그/그녀의 주변들에 관한 다양한 타입들의 데이터를 추적하도록 구성되는 경우, 하나 또는 그 초과의 실시예들에서, 이 데이터는, 사용자로부터 최소 입력이 요구되는 것을 보장하고, 그리고 사용자의 AR 경험에 대해 최소 인터럽션(interruption)을 유발하거나 인터럽션을 유발하지 않으면서, 다양한 타입들의 트랜잭션들을 갖는 사용자들을 돕도록 유리하게 레버리징(leverage)될 수 있다.
[0008] 구체적으로, 종래의 트랜잭션들(금융 또는 기타)은 통상적으로 사용자들이 일부 형태의 통화 토큰(token)(예컨대, 현금, 수표, 신용 카드 등)을 물리적으로 휴대하도록 요구하고 그리고 일부 경우들에서, 비지니스 트랜잭션들에 참가하기 위하여 신분증(예컨대, 운전 면허증 등) 및 인증(예컨대, 서명 등)을 요구한다. 백화점에 가는 사용자를 고려하자: 임의의 종류의 구매를 위해, 사용자는 통상적으로 물품(들)을 집어들고, 물품을 카트에 넣고, 레지스터(register)로 걸어가고, 줄을 서서 계산원을 기다리고, 계산원이 다수의 물품들을 스캔하고, 신용 카드를 리트리브(retrieve)하는 것을 기다리고, 신분증을 제공하고, 신용 카드 영수증에 사인하고, 그리고 물품(들)의 미래 반환을 위해 영수증을 보관한다. 종래의 금융 트랜잭션들에서, 이들 단계들은, 비록 필요하지만, 시간 소비적이고 불충분하며, 일부 경우에서, 사용자가 구매하는 것을 막거나 금지한다(예컨대, 사용자는 통화 토큰을 몸에 지니거나 신분 증명서를 몸에 지니지 않음 등). 그러나, AR 디바이스들의 맥락에서, 이들 단계들은 쓸모없고 불필요하다. 하나 또는 그 초과의 실시예들에서, AR 디바이스들은 사용자들이 위에서 설명된 부담스러운 절차들을 수행하는 것을 요구함이 없이 사용자들이 많은 타입들의 트랜잭션들을 매끄럽게 수행하는 것을 허용하도록 구성될 수 있다.
[0009] 따라서, AR 사용자들이 일상적인 트랜잭션들에 참여하는 것을 돕기 위한 더 우수한 솔루션에 대한 필요가 존재한다.
[0010] 본 발명의 실시예들은 하나 또는 그 초과의 사용자들을 위한 가상 현실 및/또는 증강 현실 상호작용을 가능하게 하기 위한 디바이스들, 시스템들 및 방법들에 관한 것이다.
[0011] 일 양상에서, 증강 현실 디바이스를 통해 트랜잭션을 수행하는 방법은 사용자로부터 생체 인증 데이터를 캡처하는 단계, 캡처된 생체 인증 데이터에 적어도 부분적으로 기반하여 사용자의 아이덴티티를 결정하는 단계, 및 결정된 아이덴티티에 기반하여 트랜잭션을 위해 사용자를 인증하는 단계를 포함한다.
[0012] 하나 또는 그 초과의 실시예들에서, 방법은 트랜잭션에 관한 데이터 세트를 금융 기관에 송신하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 홍채 패턴이다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자의 음성 레코딩이다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 망막 서명이다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자의 피부와 연관된 특성이다.
[0013] 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자의 눈들의 움직임을 캡처하는 하나 또는 그 초과의 눈 추적 카메라들을 통해 캡처된다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자의 눈들의 움직임 패턴이다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자의 눈들의 깜박임 패턴이다.
[0014] 하나 또는 그 초과의 실시예들에서, 증강 현실 디바이스는 머리에 장착되고, 그리고 증강 현실 디바이스는 사용자를 위해 개별적으로 교정된다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자에 관련된 미리결정된 데이터에 비교된다. 하나 또는 그 초과의 실시예들에서, 미리결정된 데이터는 사용자의 눈들의 알려진 서명 움직임이다.
[0015] 하나 또는 그 초과의 실시예들에서, 미리결정된 데이터는 알려진 홍채 패턴이다. 하나 또는 그 초과의 실시예들에서, 미리결정된 데이터는 알려진 망막 패턴이다. 하나 또는 그 초과의 실시예들에서, 방법은 사용자가 트랜잭션을 하고자 하는 바람을 검출하는 단계, 검출된 바람에 적어도 부분적으로 기반하여 사용자로부터 생체 인증 데이터를 요청하는 단계, 및 결과를 생성하기 위하여 생체 인증 데이터를 미리결정된 생체 인증 데이터와 비교하는 단계를 더 포함하고, 사용자는 결과에 적어도 부분적으로 기반하여 인증된다.
[0016] 하나 또는 그 초과의 실시예들에서, 트랜잭션은 비지니스 트랜잭션이다. 하나 또는 그 초과의 실시예들에서, 방법은 사용자의 인증을 사용자와 연관된 금융 기관에 통신하는 단계를 더 포함하고, 금융 기관은 적어도 부분적으로 인증에 기반하여 사용자를 대신하여 지불금을 내준다. 하나 또는 그 초과의 실시예들에서, 금융 기관은 사용자에 의해 표시된 하나 또는 그 초과의 벤더들에게 지불금을 송신한다.
[0017] 하나 또는 그 초과의 실시예들에서, 방법은 증강 현실 디바이스와 연관된 인터럽션 이벤트 또는 트랜잭션 이벤트를 검출하는 것을 더 포함한다. 하나 또는 그 초과의 실시예들에서, 방법은 검출된 이벤트에 적어도 부분적으로 기반하여 사용자를 재인증하기 하기 위하여 사용자로부터 새로운 생체 인증 데이터를 캡처하는 단계를 포함한다. 하나 또는 그 초과의 실시예들에서, 활동의 인터럽션은 적어도 부분적으로 사용자의 머리로부터 증강 현실 디바이스의 제거에 기반하여 검출된다.
[0018] 하나 또는 그 초과의 실시예들에서, 활동의 인터럽션은 네트워크와 증강 현실 디바이스의 연결 상실에 적어도 부분적으로 기반하여 검출된다. 하나 또는 그 초과의 실시예들에서, 트랜잭션 이벤트는 사용자에 의한 트랜잭션의 명시적인 승인에 적어도 부분적으로 기반하여 검출된다. 하나 또는 그 초과의 실시예들에서, 트랜잭션 이벤트는 사용자의 시선(gaze)과 연관된 히트 맵(heat map)에 적어도 부분적으로 기반하여 검출된다.
[0019] 하나 또는 그 초과의 실시예들에서, 트랜잭션 이벤트는 증강 현실 디바이스를 통해 수신된 사용자 입력에 적어도 부분적으로 기반하여 검출된다. 하나 또는 그 초과의 실시예들에서, 사용자 입력은 눈 제스처를 포함한다. 하나 또는 그 초과의 실시예들에서, 사용자 입력은 손 제스처를 포함한다.
[0020] 다른 양상에서, 증강 현실 디스플레이 시스템은 사용자로부터 생체 인증 데이터를 캡처하기 위한 생체 인증 데이터 추적 디바이스, 캡처된 생체 인증 데이터를 프로세싱하고, 그리고 캡처된 생체 인증 데이터에 적어도 부분적으로 기반하여 사용자의 아이덴티티를 결정하기 위하여 생체 인증 데이터 추적 디바이스에 동작가능하게 커플링된 프로세서, 및 트랜잭션을 위해 사용자를 인증하기 위해 적어도 금융 기관과 통신하는 서버를 포함한다.
[0021] 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 눈 움직임 데이터이다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자의 홍채의 이미지에 대응한다. 하나 또는 그 초과의 실시예들에서, 서버는 또한 트랜잭션에 관한 데이터 세트를 금융 기관에 송신한다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 홍채 패턴이다.
[0022] 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자의 음성 레코딩이다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 망막 서명이다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자의 피부와 연관된 특성이다. 하나 또는 그 초과의 실시예들에서, 생체 인증 추적 디바이스는 사용자의 눈들의 움직임을 캡처하기 위한 하나 또는 그 초과의 눈 추적 카메라들을 포함한다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자의 눈들의 움직임 패턴이다.
[0023] 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 사용자의 눈들의 깜박임 패턴이다. 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은 머리에 장착되고, 그리고 증강 현실 디스플레이 시스템은 사용자를 위해 개별적으로 교정된다. 하나 또는 그 초과의 실시예들에서, 프로세서는 또한 생체 인증 데이터를 사용자에 관련된 미리결정된 데이터에 비교한다. 하나 또는 그 초과의 실시예들에서, 미리결정된 데이터는 사용자의 눈들의 알려진 서명 움직임이다. 하나 또는 그 초과의 실시예들에서, 미리결정된 데이터는 알려진 홍채 패턴이다. 하나 또는 그 초과의 실시예들에서, 미리결정된 데이터는 알려진 망막 패턴이다. 하나 또는 그 초과의 실시예들에서, 프로세서는, 사용자가 트랜잭션을 하고자 한다는 것을 검출하고, 그리고 검출에 적어도 부분적으로 기반하여 사용자로부터 생체 인증 데이터를 요청하기 위한 사용자 인터페이스를 더 포함하고, 프로세서는, 생체 인증 데이터를 미리결정된 생체 인증 데이터와 비교하고, 그리고 적어도 부분적으로 비교에 기반하여 사용자를 인증한다.
[0024] 하나 또는 그 초과의 실시예들에서, 트랜잭션은 비지니스 트랜잭션이다. 하나 또는 그 초과의 실시예들에서, 프로세서는 사용자의 인증을 사용자와 연관된 금융 기관에 통신하고, 금융 기관은 적어도 부분적으로 인증에 기반하여 사용자를 대신하여 지불금을 내준다. 하나 또는 그 초과의 실시예들에서, 금융 기관은 사용자에 의해 표시된 하나 또는 그 초과의 벤더들에게 지불금을 송신한다.
[0025] 하나 또는 그 초과의 실시예들에서, 프로세서는 증강 현실 디바이스와 연관된 인터럽션 이벤트 또는 트랜잭션 이벤트를 검출하고, 생체 인증 추적 디바이스는 검출된 이벤트에 적어도 부분적으로 기반하여 사용자를 재인증하기 위하여 사용자로부터 새로운 생체 인증 데이터를 캡처한다. 하나 또는 그 초과의 실시예들에서, 활동의 인터럽션은 적어도 부분적으로 사용자의 머리로부터 증강 현실 디바이스의 제거에 기반하여 검출된다.
[0026] 하나 또는 그 초과의 실시예들에서, 활동의 인터럽션은 네트워크와 증강 현실 디바이스의 연결 상실에 적어도 부분적으로 기반하여 검출된다. 하나 또는 그 초과의 실시예들에서, 트랜잭션 이벤트는 사용자에 의한 트랜잭션의 명시적인 승인에 적어도 부분적으로 기반하여 검출된다. 하나 또는 그 초과의 실시예들에서, 트랜잭션 이벤트는 사용자의 시선(gaze)과 연관된 히트 맵(heat map)에 적어도 부분적으로 기반하여 검출된다. 하나 또는 그 초과의 실시예들에서, 트랜잭션 이벤트는 증강 현실 디바이스를 통해 수신된 사용자 입력에 적어도 부분적으로 기반하여 검출된다. 하나 또는 그 초과의 실시예들에서, 사용자 입력은 눈 제스처를 포함한다. 하나 또는 그 초과의 실시예들에서, 사용자 입력은 손 제스처를 포함한다.
[0027] 하나 또는 그 초과의 실시예들에서, 생체 인증 추적 디바이스는 눈 추적 시스템을 포함한다. 하나 또는 그 초과의 실시예들에서, 생체 인증 추적 디바이스는 촉각 디바이스를 포함한다. 하나 또는 그 초과의 실시예들에서, 생체 인증 추적 디바이스는 사용자의 눈에 관련된 생리적인 데이터를 측정하는 센서를 포함한다.
[0028] 본 발명의 부가적인 및 다른 목적들, 피처들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에 설명된다.
[0029] 도면들은 본 발명의 다양한 실시예들의 설계 및 효용성(utility)을 예시한다. 도면들이 반드시 실척으로 도시되지 않고 동일한 구조들 또는 기능들의 엘리먼트들이 도면들 전체에 걸쳐 동일한 참조 번호들에 의해 표현되는 것이 주목되어야 한다. 본 발명의 다양한 실시예들의 위의 나열된 및 다른 장점들 및 목적들을 획득하기 위한 방법을 더 잘 인지하기 위하여, 위에서 간단히 설명된 본 발명의 더 상세한 설명은 첨부 도면들에 예시된 본 발명의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들을 묘사하고 그러므로 그 범위를 제한하는 것으로 고려되지 않는다는 조건하에서, 본 발명은 첨부 도면들의 사용을 통해 부가적인 특이성 및 세부사항들이 서술되고 설명될 것이다.
[0030] 도 1은 사용자에게 디스플레이되는 예시적인 증강 현실 장면을 예시한다.
[0031] 도 2a-도 2d는 예시적인 증강 현실 디바이스의 다양한 구성들을 예시한다.
[0032] 도 3은 일 실시예에 따른, 클라우드 내 하나 또는 그 초과의 서버들과 통신하는 증강 현실 디바이스를 예시한다.
[0033] 도 4a-도 4d는 특정 사용자를 위해 증강 현실 디바이스를 구성하기 위하여 취해진 다양한 눈 및 머리 측정들을 예시한다.
[0034] 도 5는 일 실시예에 따른 증강 현실 디바이스의 다양한 컴포넌트들의 평면도를 도시한다.
[0035] 도 6은 일 실시예에 따른, 비지니스 트랜잭션들을 수행하기 위한 증강 현실 시스템의 시스템 아키텍처를 도시한다.
[0036] 도 7은 증강 현실 디바이스를 통해 비지니스 트랜잭션을 수행하기 위한 방법을 묘사하는 예시적인 흐름도이다.
[0037] 도 8a 및 도 8b는 일 실시예에 따른, 사용자를 식별하기 위한 예시적인 눈-식별 방법을 예시한다.
[0038] 도 9는 일 실시예에 따른, 사용자를 인증하기 위하여 눈-움직임들을 사용하는 방법을 묘사하는 예시적인 흐름도를 예시한다.
[0039] 도 10a-도 10i는 증강 현실 디바이스를 사용하여 비지니스 트랜잭션을 수행하는 예시적인 시나리오를 묘사하는 일련의 프로세스 흐름도들을 예시한다.
[0040] 본 발명의 다양한 실시예들은 단일 실시예 또는 다수의 실시예들에서 전자 회로 설계의 다중-시나리오 물리적-인식 설계를 구현하기 위한 방법들, 시스템들 및 제조 물품들에 관한 것이다. 본 발명의 다른 목적들, 특징들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에서 설명된다.
[0041] 다양한 실시예들은 이제 도면들을 참조하여 상세히 설명될 것이고, 도면들은 당업자들로 하여금 본 발명을 실시하게 하기 위하여 본 발명의 예시적 예들로서 제공된다. 특히, 아래의 도면들 및 예들은 본 발명의 범위를 제한하는 것으로 의미되지 않는다. 본 발명의 특정 엘리먼트들이 알려진 컴포넌트들(또는 방법들 또는 프로세스들)을 사용하여 부분적으로 또는 전체적으로 구현될 수 있는 경우, 본 발명의 이해에 필요한 그런 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 이들 부분들만이 설명될 것이고, 그런 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 다른 부분들의 상세한 설명들은 본 발명을 모호하게 하지 않기 위하여 생략될 것이다. 추가로, 다양한 실시예들은 예시에 의해 본원에 참조된 컴포넌트들에 대한 현재 및 미래 알려지는 등가물들을 포함한다.
[0042] AR 사용자들과 연관된 생체 인증 데이터를 추적하고 비지니스 트랜잭션들을 돕기 위하여 생체 인증 데이터를 활용하는 방법들 및 시스템들이 개시된다. 하나 또는 그 초과의 실시예들에서, AR 디바이스는 구매를 위한 사용자를 인증하기 위하여 눈 식별 기법들(예컨대, 홍채 패턴들, 눈 버전스(vergence), 눈 모션, 콘(cone)들 및 로드(rod)들의 패턴들, 눈 움직임들의 패턴들 등)을 활용할 수 있다. 유리하게, 이런 타입의 사용자 인증은 비지니스 트랜잭션들을 수행하는데 마찰 비용들을 최소화하고 그리고 사용자가 최소 노력 및/또는 인터럽션으로 매끄럽게 구매들(예컨대, 벽돌 및 모르타르 상점들, 온라인 상점들, 광고에 대한 응답으로, 등)을 하도록 허용한다. 다음 개시내용이 주로 눈-관련 생체 인증 데이터에 기반한 인증에 집중될 것이지만, 다른 타입들의 생체 인증 데이터가 또한 다른 실시예들에서 인증 목적들을 위해 유사하게 사용될 수 있다는 것이 인지되어야 한다. 아래에 설명될 다양한 실시예들은 증강 현실(AR) 시스템들의 맥락에서 비지니스를 수행하는 새로운 패러다임을 논의하지만, 여기에 개시된 기법들이 임의의 기존 및/또는 알려진 AR 시스템들과 무관하게 사용될 수 있다는 것이 인지되어야 한다. 따라서, 아래에 논의된 예들은 단지 예시 목적들을 위한 것이고 본 발명은 AR 시스템들로 제한되는 것으로 이해되지 않아야 한다.
[0043] 도 2a-도 2d를 참조하여, 일부 일반적인 컴포넌트 옵션들이 예시된다. 도 2a-도 2d의 논의에 이은 상세한 설명의 부분들에서, 다양한 시스템들, 서브시스템들 및 컴포넌트들은 인간 VR 및/또는 AR을 위한 고품질이고, 편안하게 인지되는 디스플레이 시스템을 제공하는 목적들을 처리하기 위하여 제시된다.
[0044] 도 2a에 도시된 바와 같이, 사용자의 눈들의 전면에 포지셔닝된 AR 디스플레이 시스템(62)에 커플링된 프레임(64) 구조를 착용한 AR 시스템 사용자(60)가 묘사된다. 스피커(66)는 묘사된 구성에서 프레임(64)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝될 수 있다(일 실시예에서, 도시되지 않은 다른 스피커는 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능 사운드 제어를 제공함). 디스플레이(62)는 이를테면 유선 리드(lead) 또는 무선 연결에 의해, 로컬 프로세싱 및 데이터 모듈(70)에 동작가능하게 커플링(68)되고, 로컬 프로세싱 및 데이터 모듈(70)은 다양한 구성들로 장착될 수 있는 바, 이를테면 프레임(64)에 고정되게 부착되거나, 도 2b의 실시예에 도시된 바와 같이 헬멧 또는 모자(80)에 고정되게 부착되거나, 헤드폰들에 내장되거나, 도 2c의 실시예에 도시된 바와 같이 백팩(backpack)-스타일 구성으로 사용자(60)의 몸통(torso)에 제거가능하게 부착되거나, 또는 도 2d의 실시예에 도시된 바와 같이 벨트-연결 스타일 구성으로 사용자(60)의 엉덩이(84)에 제거가능하게 부착될 수 있다.
[0045] 로컬 프로세싱 및 데이터 모듈(70)은 전력-효율적 프로세서 또는 제어기뿐 아니라, 디지털 메모리, 이를테면 플래시 메모리를 포함할 수 있고, 이들 둘 모두는 a) 프레임(64)에 동작가능하게 커플링될 수 있는 센서들, 이를테면 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들로부터 캡처되고; 및/또는 b) 그러한 프로세싱 또는 리트리벌(retrieval) 후 가능하게 디스플레이(62)에 전달을 위하여 원격 프로세싱 모듈(72) 및/또는 원격 데이터 리포지토리(repository)(74)를 사용하여 획득되고 및/또는 프로세싱되는 데이터의 프로세싱, 캐싱 및 저장을 돕는데 활용될 수 있다. 로컬 프로세싱 및 데이터 모듈(70)은 이를테면 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(72) 및 원격 데이터 리포지토리(74)에 동작가능하게 커플링(76, 78)될 수 있어서, 이들 원격 모듈들(72, 74)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(70)에 대한 리소스들로서 이용가능하다.
[0046] 일 실시예에서, 원격 프로세싱 모듈(72)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 리포지토리(74)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 비교적 큰 규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션(computation)은 로컬 프로세싱 및 데이터 모듈에서 수행되고, 이는 임의의 원격 모듈들 없이 완전히 자율적인 사용을 허용한다.
[0047] 도 2a-도 2d를 참조하여 설명된 바와 같이, AR 시스템은 AR 사용자 및 주변 환경에 관한 데이터를 수집하는 다양한 디바이스들로부터 입력을 계속하여 수신한다. 이제 도 3을 참조하면, 예시적인 증강 현실 디스플레이 디바이스의 다양한 컴포넌트들이 설명될 것이다. 다른 실시예들이 부가적인 컴포넌트들을 가질 수 있다는 것이 인지되어야 한다. 그럼에도 불구하고, 도 3은 다양한 컴포넌트들의 기본적인 아이디어, 및 AR 디바이스에 의해 수집될 수 있는 데이터의 타입들을 제공한다.
[0048] 이제 도 3을 참조하면, 개략도는 클라우드 컴퓨팅 애셋(asset)들(46)과 로컬 프로세싱 애셋들(308, 120) 간의 조정을 예시한다. 일 실시예에서, 클라우드(46) 애셋들은 이를테면 유선 또는 무선 네트워킹(무선은 이동성에 바람직하고, 유선은 원해질 수 있는 소정 고-대역폭 또는 고-데이터-볼륨 전달들에 바람직함)을 통하여, 로컬 컴퓨팅 애셋들(120, 308), 이를테면 사용자의 머리 장착 디바이스(120) 또는 벨트(308)에 커플링되도록 구성된 구조에 하우징될 수 있는 프로세서 및 메모리 구성들 중 하나 또는 둘 모두(40, 42)에 직접 동작 가능하게 커플링된다. 사용자에 로컬인 이들 컴퓨팅 애셋들은 유선 및/또는 무선 연결 구성들(44)을 통하여 또한 서로 동작가능하게 커플링될 수 있다. 일 실시예에서, 작은-관성 및 작은-사이즈 머리 장착 서브시스템(120)을 유지하기 위하여, 사용자와 클라우드(46) 간의 주 전달은 벨트-기반 서브시스템(308)과 클라우드 간의 링크를 통해서일 수 있고, 머리 장착 서브시스템(120)은 주로, 예컨대 개인 컴퓨팅 주변장치 연결 애플리케이션들에서 현재 이용되는 바와 같은, 무선 연결, 이를테면 초광대역("UWB") 연결을 사용하여 벨트-기반 서브시스템(308)에 데이터-테더링(tether)된다. 클라우드(46)를 통하여, AR 디스플레이 시스템(120)은 클라우드에 호스팅된 하나 또는 그 초과의 AR 서버들(110)과 상호작용할 수 있다. 다양한 AR 서버들(110)은 서버들(110)이 서로 통신하도록 허용하는 통신 링크들(115)을 가질 수 있다.
[0049] 효율적인 로컬 및 원격 프로세싱 조정, 및 사용자에게 적합한 디스플레이 디바이스, 이를테면 사용자 인터페이스 또는 사용자 "디스플레이 디바이스", 또는 이들의 변형들에 의해, 사용자의 현재 실제 또는 가상 위치에 관련된 하나의 세계의 양상들은 사용자에게 전달 또는 "패스(pass)"될 수 있고 효율적인 방식으로 업데이트될 수 있다. 다른 말로, 세계 맵은 사용자의 AR 시스템에 부분적으로 상주하고 클라우드 리소스들에 부분적으로 상주할 수 있는 저장 위치에서 계속해서 업데이트된다. 맵(또한 "전달가능 세계 모델"로서 지칭됨)은 래스터(raster) 이미지, 3D 및 2D 포인트들, 파라미터 정보 및 실세계에 관한 다른 정보를 포함하는 큰 데이터베이스일 수 있다. AR 사용자들이 더욱더 그들의 실제 환경에 관한 정보를 (예컨대, 카메라들, 센서들, IMU들 등을 통하여) 계속해서 캡처함에 따라, 맵은 더욱더 정확하게 된다.
[0050] 본 개시내용에 더 관련되어, 도 2a-도 2d에 설명된 것들과 유사한 AR 시스템들은 사용자의 눈들에 대한 고유 액세스를 제공하고, 이는 AR 시스템을 통하여 추적된 생체 인증 데이터의 세트에 기반하여 사용자를 고유하게 식별하기 위하여 유리하게 사용될 수 있다. 사용자의 눈들에 대한 이런 전례 없는 액세스는 그 자체가 자연스럽게 다양한 애플리케이션들에 도움을 제공한다. 사용자가, 3D 가상 콘텐츠를 인식하도록 허용하기 위하여 AR 디바이스가 사용자의 눈과 결정적으로 상호작용하고, 그리고 많은 실시예들에서, 아래에 더 상세히 설명될 바와 같이, 사용자의 눈들에 관련된 다양한 생체 인증들(예컨대, 눈 버전스, 눈 모션, 콘들 및 로드들, 눈 움직임들의 패턴들 등)을 추적하면, 결과적인 추적된 데이터는 다양한 트랜잭션들을 위한 사용자 식별 및 인증에 유리하게 사용될 수 있다.
[0051] AR 디바이스는 통상적으로 특정 사용자의 머리에 맞추어지고, 광학 컴포넌트들은 사용자의 눈들에 정렬된다. 이들 구성 단계들은, 임의의 생리적인 부작용, 이를테면 두통, 메스꺼움, 불편함 등을 유발함이 없이 사용자에게 최적의 증강 현실 경험을 제공하는 것을 보장하기 위하여 사용될 수 있다. 따라서, 하나 또는 그 초과의 실시예들에서, AR 디바이스는 각각의 개인 사용자를 위해 (물리적 그리고 디지털적 둘 모두로) 구성되고, 구체적으로 사용자를 위해 교정될 수 있다. 다른 시나리오들에서, 느슨한 맞춤 AR 디바이스는 다양한 사용자들에 의해 편안하게 사용될 수 있다. 예컨대, 일부 실시예들에서, AR 디바이스는 사용자의 눈들 간의 거리, 머리 착용 디스플레이와 사용자의 눈들 간의 거리, 사용자의 눈들 간의 거리, 사용자의 이마의 곡률을 안다. 이들 모든 측정들은 주어진 사용자에게 적합한 머리-착용 디스플레이 시스템을 제공하기 위하여 사용될 수 있다. 다른 실시예들에서, 그런 측정들은 이 출원에 설명된 식별 및 인증 기능을 수행하기 위하여 필요하지 않을 수 있다.
[0052] 예컨대, 도 4a-도 4d를 참조하면, AR 디바이스는 각각의 사용자에게 맞춤화될 수 있다. 사용자의 머리 형상(402)은 도 4a에 도시된 바와 같이, 하나 또는 그 초과의 실시예들에서, 머리-장착 AR 시스템을 맞출 때 고려될 수 있다. 유사하게, 눈 컴포넌트들(404)(예컨대, 광학기구, 광학기구에 대한 구조 등)은 도 4b에 도시된 바와 같이, 수평 및 수직 둘 모두로 사용자의 편안함을 위해 회전되거나 조정될 수 있거나, 사용자의 편안함을 위해 회전될 수 있다. 도 4c에 도시된 바와 같은, 하나 또는 그 초과의 실시예들에서, 사용자의 머리에 대해 머리 세트의 회전 포인트(406)는 사용자의 머리 구조에 기반하여 조정될 수 있다. 유사하게, IPD(inter-pupillary distance)(408)(즉, 사용자의 눈들 간의 거리)는 도 4d에 도시된 바와 같이 보상될 수 있다.
[0053] 유리하게, 사용자 식별 및 인증의 맥락에서, 머리-착용 AR 디바이스의 이런 양상은 중요한데, 그 이유는 시스템이 사용자의 물리적 특징들(예컨대, 눈 사이즈, 머리 사이즈, 눈들 간의 거리 등)에 관한 측정들의 세트, 및 사용자를 쉽게 식별하기 위하여 사용되고, 그리고 사용자가 하나 또는 그 초과의 비지니스 트랜잭션들을 완료하도록 허용하기 위하여 사용될 수 있는 다른 데이터를 이미 소유하기 때문이다. 부가적으로, AR 시스템은, AR 시스템이 AR 시스템을 사용하도록 허가된 사용자 이외의 다른 AR 사용자에 의해 착용될 때를 쉽게 검출할 수 있다. 이것은 AR 시스템이 사용자의 눈들을 끊임없이 모니터링하고, 따라서 필요할 때 사용자의 아이덴티티를 인지하도록 허용한다.
[0054] 사용자에 대해 수행된 다양한 측정들 및 교정들 외에, AR 디바이스는 사용자에 관한 생체 인증 데이터의 세트를 추적하도록 구성될 수 있다. 예컨대, 시스템은 눈 움직임들, 눈 움직임 패턴들, 깜박임 패턴들, 눈 버전스, 눈 컬러, 홍채 패턴들, 망막 패턴들, 피로 파라미터들, 눈 색깔의 변화들, 초점 거리의 변화들, 및 사용자에게 광학 증강 현실 경험을 제공하는데 사용될 수 있는 많은 다른 파라미터들을 추적할 수 있다.
[0055] 도 5를 참조하면, 하우징 또는 프레임(108)에 의해 사용자의 머리 또는 눈들에 장착될 수 있는 디스플레이 렌즈(106)를 포함하는 적절한 사용자 디스플레이 디바이스(62)의 하나의 단순화된 실시예가 도시된다. 디스플레이 렌즈(106)는 사용자의 눈들(20)의 전면에 하우징(108)에 의해 포지셔닝되고 그리고 투사된 광(38)을 눈들(20)로 바운스(bounce)하고 빔 성형을 가능하게 하면서, 또한 로컬 환경으로부터의 적어도 일부 광의 투과를 허용하도록 구성된 하나 또는 그 초과의 투과성 미러들을 포함할 수 있다. 묘사된 실시예에서, 2개의 광시야각 기계 시각(vision) 카메라들(16)은 사용자 둘레 환경을 이미징하기 위하여 하우징(108)에 커플링되고; 일 실시예에서 이들 카메라들(16)은 이중 캡처 가시광/적외선 광 카메라들이다.
[0056] 묘사된 실시예는 또한 도시된 바와 같이 광(38)을 눈들(20)로 투사하도록 구성된 디스플레이 미러들 및 광학 기구를 가진 한 쌍의 스캐닝된-레이저 형상화-파면(즉, 심도를 위한) 광 투사기 모듈들(18)(예컨대, 공간 광 변조기들 이를테면 DLP, FSD(fiber scanning device)들, LCD들 등)을 포함한다. 묘사된 실시예는 또한 렌더링 및 사용자 입력을 지원하기 위하여 사용자의 눈들(20)을 추적할 수 있도록 구성된, 적외선 광원들(26)(이를테면 발광 다이오드들("LED"들))과 쌍을 이루는 2개의 소형 적외선 카메라들(24)을 포함한다. 디스플레이 시스템(62)은 추가로 X, Y 및 Z 축 가속도계 능력뿐 아니라 자기 컴파스 및 X, Y 및 Z 축 자이로 성능을 포함할 수 있고, 바람직하게 비교적 고주파수, 이를테면 200 Hz에서 데이터를 제공하는 센서 어셈블리(39)를 특징으로 한다. 묘사된 시스템(62)은 또한 카메라들(16)로부터 출력된 광시야각 이미지 정보로부터 실시간 또는 거의-실시간 사용자 머리 포즈를 계산하도록 구성될 수 있는 머리 포즈 프로세서(36), 이를테면 ASIC(application specific integrated circuit), FPGA(field programmable gate array), 및/또는 ARM 프로세서(advanced reduced-instruction-set machine)를 포함한다. 머리 포즈 프로세서(36)는 (90, 92, 94; 예컨대, 유선 또는 무선 연결을 통해) 카메라들(16) 및 렌더링 엔진(34)에 동작가능하게 커플링된다.
[0057] 또한, 센서 어셈블리(39)로부터의 자이로, 컴파스, 및/또는 가속도계 데이터로부터 포즈를 유도하기 위하여 디지털 및/또는 아날로그 프로세싱을 실행하도록 구성된 다른 프로세서(32)가 도시된다. 묘사된 실시예는 또한 포즈 및 포지셔닝을 돕기 위한 GPS(37) 서브시스템을 특징으로 한다.
[0058] 마지막으로, 묘사된 실시예는 렌더링 엔진(34)을 포함하고, 렌더링 엔진(34)은 세계의 사용자 뷰(view)를 위해, 스캐너들의 동작 및 사용자의 눈들로의 이미징을 가능하게 하기 위하여 사용자에게 로컬인 렌더링 정보를 제공하도록 구성된 소프트웨어 프로그램을 실행하는 하드웨어를 특징으로 할 수 있다. 렌더링 엔진(34)은 (105, 94, 100/102, 104; 즉, 유선 또는 무선 연결을 통해) 센서 포즈 프로세서(32), 이미지 포즈 프로세서(36), 눈 추적 카메라들(24), 및 투사 서브시스템(18)에 동작가능하게 커플링되어, 렌더링된 광(38)은 망막 스캐닝 디스플레이와 유사한 방식으로 스캐닝 레이저 어레인지먼트(18)를 사용하여 투사된다. 투사된 광 빔(38)의 파면은 투사된 광(38)의 원하는 초점 거리와 일치하도록 굴곡되거나 포커싱될 수 있다.
[0059] 소형 적외선 카메라들(24)은 렌더링 및 사용자 입력(즉, 사용자가 보고 있는 장소, 사용자가 어떤 심도를 포커싱하는지; 아래에 논의된 바와 같이, 눈 버전스는 포커스 심도를 추정하기 위하여 활용될 수 있음)을 지원하기 위하여 눈들을 추적하기 위해 활용될 수 있다. GPS(37), 자이로, 컴파스, 및 가속도계들(39)은 대강의 및/또는 빠른 포즈 추정들을 제공하기 위하여 활용될 수 있다. 연관된 클라우드 컴퓨팅 리소스로부터의 데이터와 함께, 카메라(16) 이미지들 및 포즈 데이터는 로컬 세계를 매핑하고 사용자 뷰들을 가상 또는 증강 현실 공동체(community)와 공유하기 위하여 활용될 수 있다.
[0060] 도 5에서 특징으로 하는 디스플레이 시스템(62) 내의 하드웨어 대부분이 디스플레이(106) 및 사용자 눈들(20)에 인접한 하우징(108)에 직접 커플링되는 것으로 묘사되지만, 묘사된 하드웨어 컴포넌트들은 예컨대 도 2d에 도시된 바와 같이 다른 컴포넌트들, 이를테면 벨트-장착 컴포넌트(70)에 장착되거나 그 내부에 하우징될 수 있다.
[0061] 일 실시예에서, 도 5에서 특징으로 하는 시스템(62)의 컴포넌트들 모두는 이미지 포즈 프로세서(36), 센서 포즈 프로세서(32), 및 렌더링 엔진(34)을 제외하고 디스플레이 하우징(108)에 직접 커플링되고, 그리고 이미지 포즈 프로세서(36), 센서 포즈 프로세서(32), 및 렌더링 엔진(34)과 시스템(62)의 나머지 컴포넌트들 간의 통신은 무선 통신, 이를테면 초-광대역, 또는 유선 통신에 의해 이루어질 수 있다. 묘사된 하우징(108)은 바람직하게 사용자에 의해 머리-장착되고 착용가능하다. 묘사된 하우징(108)은 또한 사용자의 귀들로 삽입되고 사용자에게 사운드를 제공하기 위하여 활용될 수 있는 것들 같은 스피커들을 특징으로 할 수 있다.
[0062] 표준 AR 디바이스의 주요 컴포넌트들을 설명하였지만, AR 디바이스가 사용자 및 사용자의 주변들로부터 데이터를 수집하도록 구성된 많은 컴포넌트들을 포함할 수 있다는 것이 인지되어야 한다. 예컨대, 위에서 설명된 바와 같이, AR 디바이스의 일부 실시예들은 사용자의 위치를 결정하기 위하여 GPS 정보를 수집한다. 다른 실시예들에서, AR 디바이스는 사용자의 눈들을 추적하기 위하여 적외선 카메라들을 포함한다. 또 다른 실시예들에서, 도 3에 대해 짧게 설명된 바와 같이, AR 디바이스는 사용자의 환경의 이미지들을 캡처하기 위한 시야 카메라들을 포함할 수 있고, 이 이미지들은 이후 사용자의 물리적 공간의 맵(도 3에 설명된 바와 같이, 서버들(110) 중 하나에 포함됨)을 구성하기 위하여 사용될 수 있으며, 이는 시스템이 적절한 현실 객체들에 관련하여 가상 콘텐츠를 렌더링하도록 허용한다.
[0063] 사용자의 눈들(20)로의 광(38)의 투사에 대해, 일 실시예에서, 소형 카메라들(24)은, 일반적으로 눈들(20)의 포커스 포지션, 또는 "포커스 심도"와 일치하는, 사용자의 눈들(20)의 중심들이 기하학적으로 버징(verge)되는 장소를 측정하기 위하여 활용될 수 있다. 눈들이 버징하는 모든 포인트들의 3차원 표면은 "단시 궤적(horopter)"이라 칭해진다. 초점 거리는 유한한 수의 심도들 상에서 취해질 수 있거나, 무한하게 가변할 수 있다. 버전스 거리로부터 투사된 광은 대상 눈(20)에 포커싱되는 것으로 보이지만, 버전스 초점 거리의 전면 또는 후면의 광은 블러링(blur)된다.
[0064] 추가로, 눈이 포커싱되는 장소에 무관하게 약 0.7 밀리미터 미만의 빔 직경을 가지는 공간적 코히어런트 광이 인간 눈에 의해 정확하게 분해되는 것이 발견되었고; 이런 이해에 따라, 더 적당한 초점 심도의 일루전(illusion)을 생성하기 위하여, 눈 버전스는 소형 카메라들(24)로 추적될 수 있고, 그리고 렌더링 엔진(34) 및 투사 서브시스템(18)은 포커스에서 단시 궤적 상에 있거나 이에 가까운 모든 객체들을 포랜더링하고, 그리고 다양한 디포커스 정도들에 (즉, 의도적으로-생성된 블러링을 사용하여) 모든 다른 객체들을 렌더링 하기 위해 활용될 수 있다. 눈으로 코히어런트 광을 투사하도록 구성된 시-스루 광 안내 광학 엘리먼트는 Lumus, Inc. 같은 공급자들에 의해 제공될 수 있다. 바람직하게 시스템(62)은 초당 약 60 프레임들 또는 그 초과의 프레임 레이트로 사용자에게 렌더링한다. 위에서 설명된 바와 같이, 바람직하게 소형 카메라들(24)은 눈 추적을 위해 활용될 수 있고, 그리고 소프트웨어는 버전스 기하구조뿐 아니라 사용자 입력들로서 역할을 하는 포커스 위치 단서들을 픽업(pick up)하도록 구성될 수 있다. 바람직하게 그런 시스템은 낮 또는 밤 이용에 적절한 휘도 및 콘트라스트로 구성된다.
[0065] 일 실시예에서, 그런 시스템은 바람직하게 시각적 객체 정렬을 위해 약 20 밀리초 미만의 레이턴시, 약 0.1 도 미만의 각도적 정렬, 및 약 1 아크(arc) 분의 분해능을 가지며, 이는 거의 인간 눈의 한계이다. 디스플레이 시스템(62)에는 로컬리제이션(localization) 시스템이 통합될 수 있고, 로컬리제이션 시스템은 포지션 및 포즈 결정을 돕기 위하여 GPS 엘리먼트들, 광학 추적부, 컴파스, 가속도계들, 및/또는 다른 데이터 소스들을 포함할 수 있고; 로컬리제이션 정보는 관련 세계의 사용자 뷰에 정확한 렌더링을 가능하게 하기 위하여 활용될 수 있다(즉, 그런 정보는 안경이 실제 세계에 관련하여 어디에 있는지를 알게 할 것임). AR 디바이스의 일반적인 컴포넌트들을 설명하였지만, 비지니스 트랜잭션들을 수행하기 위하여 사용자 식별 및 인증에 구체적으로 관련된 부가적인 실시예들은 아래에서 논의될 것이다.
[0066] 위에서 일부 상세히 논의된 바와 같이, 비지니스 트랜잭션들을 수행하기 위한 종래의 모델(들)은 비효율적이고 부담스러운 경향이 있고, 종종 사용자들이 트랜잭션들에 참여하는 것을 단념케 하는 효과를 가진다. 예컨대, 사용자가 백화점에 있다고 고려하자. 종래의 모델들에서, 사용자는 물리적으로 상점에 가서, 물품들을 선택하고, 줄을 서고, 계산원을 기다리고, 지불 정보 및/또는 식별을 제공하고, 그리고 지불을 허가하도록 요구받는다. 심지어, 확실히 덜 번거로운 온라인 쇼핑에서도 이의 단점들의 몫이 따른다. 비록 사용자가 상점 위치에 물리적으로 있을 필요가 없고 관심 물품들을 쉽게 선택할 수 있지만, 지불은 여전히 종종 신용 카드 정보 및 인증을 요구한다. 그러나, AR 디바이스들의 출현으로, 종래의 지불 모델들(예컨대, 현금, 신용 카드, 통화 토큰들 등)은 불필요하게 될 수 있는데, 그 이유는 AR 디바이스는 사용자의 아이덴티티를 쉽게 확인할 수 있고 비지니스 트랜잭션을 인증할 수 있기 때문이다.
[0067] 예컨대, AR 사용자는 소매점을 한가로이 거닐고 물품을 픽업할 수 있다. AR 디바이스는 사용자의 아이덴티티를 확인하고, 사용자가 구매를 하는 것을 원하는지를 확인하고, 그리고 단순히 상점 밖으로 나올 수 있다. 하나 또는 그 초과의 실시예들에서, AR 디바이스는 확인된 구매에 기반하여 사용자의 계좌로부터 소매점과 연관된 계좌로 돈을 전달할 금융 기관과 인터페이싱할 수 있다. 또는, 다른 예에서, AR 사용자는 특정 상표의 신발들에 대한 광고를 볼 수 있다. 사용자는 AR 디바이스를 통하여, 사용자가 신발들을 구매하기를 원한다는 것을 표시할 수 있다. AR 디바이스는 사용자의 아이덴티티를 확인하고, 구매를 인증할 수 있다. 백-엔드(back-end) 상에서, 그 특정 상표의 신발들에 대해 소매상에 주문이 이루어질 수 있고, 소매상은 사용자가 원하는 한 쌍의 신발들을 단순히 선적할 수 있다. 위의 예들에 의해 예시된 바와 같이, AR 디바이스가 사용자의 아이덴티티를 "알기" 때문에(그리고 AR 디바이스들이 통상적으로 모든 각각의 개인 사용자에 대해 구축되고 맞춤화됨), 금융 트랜잭션들은 쉽게 인증되고, 이에 의해 비지니스를 수행하는 것과 통상적으로 연관된 마찰 비용들이 크게 감소된다.
[0068] 더 구체적으로, 하나 또는 그 초과의 실시예들에서, AR 디바이스는 프라이버시 및 보안 목적들을 위하여 사용자의 식별 테스트를 주기적으로 수행할 수 있다. 위에서 일부 상세히 논의된 바와 같이, AR 디바이스가 통상적으로 각각의 사용자에 대해 맞춤화되더라도, 사용자의 이런 주기적인 식별 및 인증은 비지니스 트랜잭션들을 수행하는 맥락에서 특히 보안 목적들을 위하여, 또는 AR 디바이스가 알려지지 않은 사용자들에 의해 사용되지 않고 클라우드 상의 AR 사용자의 계좌에 링크되는 것을 보장하기 위하여 프라이버시 목적들을 위해서 필요하다. 본 출원은, 사용자 식별 및 인증이 가장 중요한 금융/비지니스 트랜잭션들에 대한 보안을 보장하기 위한 시스템들 및 방법들을 설명한다. 유사하게, 이들 단계들은 사용자 프라이버시를 보장하기 위하여 똑같이 중요하다. 실제로, 이들 식별 단계들은 AR 디바이스를 통하여 임의의 개인/사적 사용자 계정(예컨대, 이메일, 소셜 네트워크, 금융 계좌 등)을 열기 전에 사용될 수 있다.
[0069] 이 출원에 설명된 다른 실시예들은 도난 방지 관리의 맥락에서 사용될 수 있다. 예컨대, AR 디바이스는, AR 디바이스가 도난당하지 않는 것을 보장하기 위하여 사용자를 식별할 수 있다. AR 디바이스가 알려지지 않은 사용자를 검출하면, AR 디바이스는 사용자에 관한 캡처된 정보, 및 AR 디바이스의 위치를 즉각 AR 서버에 전송할 수 있다. 또는, 다른 실시예들에서, AR 디바이스가 식별되지 않은 누군가에 의해 사용되고 있다는 것이 검출되면, AR 디바이스는, 어떠한 비밀 정보도 누설되거나 오용되지 않도록, 완전히 셧 다운되고 AR 디바이스의 메모리 내 모든 콘텐츠를 자동으로 삭제할 수 있다. 이들 보안 조치들은 AR 디바이스의 절도들을 방지할 수 있는데, 그 이유는 AR 디바이스가 AR 디바이스의 착용자에 관한 많은 타입들의 정보를 캡처할 수 있기 때문이다.
[0070] 하나 또는 그 초과의 실시예들에서, 아래에 설명되는 실시예들은 AR 디바이스가 쇼핑 로봇을 원격 조정할 수 있게 할 수 있다. 예컨대, AR 디바이스의 사용자가 식별되었다면, AR 디바이스는 특정 상점 또는 체인점의 네트워크를 통하여 쇼핑 로봇에 연결할 수 있고, 쇼핑 로봇과 트랜잭션을 통신할 수 있다. 따라서, 사용자가 상점에 물리적으로 있지 않더라도, AR 디바이스는, 일단 사용자가 인증되었다면, 프록시를 통하여 트랜잭션들을 수행할 수 있다. 유사하게, 많은 다른 보안 및/또는 프라이버시 애플리케이션들이 구상될 수 있다.
[0071] 추적된 생체 인증 데이터를 통하여 식별을 수행하는 많은 방법들이 있다. 일 실시예에서, 추적된 생체 인증 데이터는 눈-관련 생체 인증 데이터, 이를테면 눈 움직임들의 패턴들, 홍채 패턴들, 눈 버전스 정보 등일 수 있다. 필수적으로, 사용자가 패스워드를 기억하도록 요구하거나, 또는 일부 타입의 식별/검증을 제시하기보다, AR 디바이스는 추적된 생체 인증 데이터의 사용을 통하여 아이덴티티를 자동으로 검증한다. AR 디바이스가 사용자의 눈들에 대한 끊임없는 액세스를 가지면, 추적된 데이터가 고유 사용자 서명으로서 생각될 수 있는 사용자의 아이덴티티에 관한 매우 정확하고 개별화된 정보를 제공할 것이라는 것이 예상된다. 생체 인증 데이터를 추적하는 상이한 방식들에 대한 세부사항들을 탐구하고, 그리고 사용자를 인증하기 위하여 추적된 생체 인증 데이터를 사용하기 전에, 하나 또는 그 초과의 외부 엔티티들(예컨대, 금융 기관들, 벤더들 등)과 상호작용하는 AR 디바이스의 시스템 아키텍처가 제공될 것이다.
[0072] 이제 도 6을 참조하면, 전체 AR 시스템 아키텍처가 예시된다. AR 시스템 아키텍처는 머리-착용 AR 디바이스(62), AR 디바이스(62)의 로컬 프로세싱 모듈(660), 네트워크(650), AR 서버(612), 금융 기관(620) 및 하나 또는 그 초과의 벤더들(622A, 622B 등)을 포함한다.
[0073] 위에서 논의된 바와 같이(도 5를 참조), 머리-착용 AR 디바이스(62)는 많은 서브-컴포넌트들을 포함하고, 그 중 일부는 사용자와 연관된 정보 및/또는 사용자의 주변들을 캡처 및/또는 추적하도록 구성된다. 보다 구체적으로, 하나 또는 그 초과의 실시예들에서, 머리-착용 AR 디바이스(62)는 하나 또는 그 초과의 눈 추적 카메라들을 포함할 수 있다. 눈 추적 카메라들은 사용자의 눈 움직임들, 눈 버전스 등을 추적할 수 있다. 다른 실시예에서, 눈 추적 카메라들은 사용자의 홍채의 사진(picture)을 캡처하도록 구성될 수 있다. 다른 실시예들에서, 머리-착용 AR 디바이스(62)는 다른 생체 인증 정보를 캡처하도록 구성된 다른 카메라들을 포함할 수 있다. 예컨대, 연관된 카메라들은 사용자의 눈 형상 이미지를 캡처하도록 구성될 수 있다. 또는, 다른 예에서, 카메라들(또는 다른 추적 디바이스들)은 사용자의 속눈썹들에 대한 데이터를 캡처할 수 있다. 추적된 생체 인증 정보(예컨대, 눈 데이터, 속눈썹 데이터, 눈-형상 데이터, 눈 움직임 데이터, 머리 데이터, 센서 데이터, 음성 데이터, 지문 데이터 등)는 로컬 프로세싱 모듈(660)로 송신될 수 있다. 도 2d에 도시된 바와 같이, 하나 또는 그 초과의 실시예들에서, 로컬 프로세싱 모듈(660)은 AR 디바이스(62)의 벨트 팩의 부분일 수 있다. 또는, 다른 실시예들에서, 로컬 프로세싱 모듈은 머리-착용 AR 디바이스(62)의 하우징의 부분일 수 있다.
[0074] 도 6에 도시된 바와 같이, 사용자(680)의 머리-착용 AR 디바이스(62)는 캡처된 데이터를 제공하기 위하여 로컬 프로세싱 모듈(660)과 인터페이싱한다. 하나 또는 그 초과의 실시예들에서, 로컬 프로세싱 모듈(660)은 프로세서(664) 및 AR 시스템이 다양한 컴퓨팅 태스크들을 수행하게 할 수 있는 다른 컴포넌트들(652)(예컨대, 메모리, 전력원, 원격 측정 회로 등)을 포함한다. 본 개시내용에 유의하여, 로컬 프로세싱 모듈(660)은 또한 머리-착용 AR 디바이스(62)의 하나 또는 그 초과의 추적 디바이스들에 의해 추적된 정보에 기반하여 사용자를 식별하기 위한 식별 모듈(614)을 포함할 수 있다.
[0075] 하나 또는 그 초과의 실시예들에서, 식별 모듈(614)은 사용자를 식별 및/또는 인증할 데이터 세트를 저장하기 위한 데이터베이스(652)를 포함한다. 예컨대, 예시된 실시예에서, 데이터베이스(652)는 미리결정된 데이터 및/또는 미리결정된 인증 세부사항들 또는 패턴들의 세트를 저장할 수 있는 매핑 테이블(670)을 포함한다. 하나 또는 그 초과의 실시예들에서, 캡처된 데이터는 사용자(680)의 아이덴티티를 결정하기 위하여 매핑 테이블(670)에 저장된 미리결정된 데이터에 대해 비교될 수 있다. 유사하게, 데이터베이스(652)는 사용자(680)의 식별/인증을 수행하는데 사용될 다른 데이터를 포함할 수 있다. 하나 또는 그 초과의 실시예들에서, 데이터베이스(652)는 아래에 추가로 상세히 설명될 바와 같이, 사용자의 아이덴티티를 검증하기 위한 하나 또는 그 초과의 눈 테스트들을 저장할 수 있다.
[0076] 하나 또는 그 초과의 실시예들에서, 로컬 프로세싱 모듈(660)은 클라우드 네트워크(650)를 통하여 AR 서버(612)와 통신한다. 비록 도 6에 예시되지 않지만, AR 서버(612)는 사용자(680)에게 현실적인 증강 현실 경험을 제공하는데 중요한 많은 컴포넌트들/회로를 포함한다. 간단히, AR 서버(612)는 실세계의 물리적 객체들에 관련하여 가상 콘텐츠를 렌더링하기 위하여 AR 디바이스(62)의 로컬 프로세싱 모듈(660)에 의해 빈번하게 컨설팅(consult)되는 물리적 세계의 맵(690)을 포함한다. 따라서, AR 서버(612)는 실세계의 계속-늘어나는 맵(690)을 구축하기 위하여 다수의 사용자들을 통하여 캡처된 정보에 따라 구축된다. 다른 실시예들에서, AR 서버(612)는 제3 자에 의해 구축되고 유지될 수 있는 맵(690)을 단순히 호스팅할 수 있다.
[0077] 하나 또는 그 초과의 실시예들에서, AR 서버(612)는 또한 사용자의 사적 캡처된 데이터가 채널링(channel)되는 개별 사용자의 계좌를 호스팅할 수 있다. 이런 캡처된 데이터는 하나 또는 그 초과의 실시예들에서 데이터베이스(654)에 저장될 수 있다. 하나 또는 그 초과의 실시예들에서, 데이터베이스(654)는 사용자 정보(610), 사용자(680)에 관한 이력 데이터(615), 사용자 선호도들(616) 및 다른 엔티티 인증 정보(618)를 저장할 수 있다. 실제로, AR 시스템의 다른 실시예들은 사용자에 대한 많은 다른 타입들의 개별 정보를 포함할 수 있다. 사용자 정보(610)는 하나 또는 그 초과의 실시예들에서 개인 전기 정보(personal biographical information)(예컨대, 이름, 나이, 성별, 주소, 거주지 등)의 세트를 포함할 수 있다.
[0078] 사용자(680)에 관한 이력 데이터(615)는 사용자에 의해 수행된 이전 구매들 및/또는 트랜잭션들을 지칭할 수 있다. 하나 또는 그 초과의 실시예들에서, 사용자 선호도들(616)은 사용자에 관한 관심들(예컨대, 쇼핑, 활동들, 여행 등) 및/또는 구매 선호도들(예컨대, 액세서리들, 관심 상표들, 쇼핑 카테고리들 등)의 세트를 포함할 수 있다. 하나 또는 그 초과의 실시예들에서, AR 사용자의 행동 데이터는 사용자의 선호도들 및/또는 구매 패턴들을 시스템에게 알리기 위하여 사용될 수 있다. 다른 엔티티 인증 정보(618)는, 사용자가 외부 계정들(예컨대, 은행 인증 정보, 다양한 웹사이트들의 계정 인증 정보 등)에 액세스하는데 성공적으로 인증받았다는 것을 검증하기 위한 사용자의 인증 크리덴셜(credential)들을 지칭할 수 있다.
[0079] 하나 또는 그 초과의 실시예들에서, AR 디바이스(62)를 통해 캡처된 데이터, 지난 활동을 통해 추적된 데이터, 사용자와 연관된 비지니스 데이터 등은 패턴들을 인식하고 및/또는 사용자의 행동을 이해하기 위하여 분석될 수 있다. 이들 기능들은 하나 또는 그 초과의 실시예들에서, 제3 자에 의해 프라이버시 및 보안-민감 방식으로 수행될 수 있다.
[0080] 데이터베이스(654)는 또한, AR 서버(612)가 사용자에게 특정한 금융 기관들 및/또는 제3 자 엔티티들과 통신하도록 허용하는 다른 엔티티 인증 정보(618)를 저장할 수 있다. 예컨대, 다른 엔티티 인증 정보(618)는 사용자의 은행 정보(예컨대, 은행 이름, 계좌 정보 등)를 지칭할 수 있다. 결국, 이 정보는 금융 정보, 제3 자 엔티티들, 벤더들 등과 통신하기 위하여 사용될 수 있다.
[0081] 하나 또는 그 초과의 실시예들에서, AR 서버(612)는 트랜잭션들을 완료하기 위하여 하나 또는 그 초과의 금융 기관들(620)과 통신할 수 있다. 금융 기관은 사용자의 금융 정보를 가질 수 있다. 하나 또는 그 초과의 실시예들에서, 금융 기관은 보안 목적들을 위해 사용자의 인증 정보의 제2 검증을 수행할 수 있다. 사용자가 인증되면, AR 서버(612)는 금융 기관(620)과 통신하도록 인증받을 수 있다. 사용자가 특정 물품(630) 구매를 위해 인증되는 경우, 사용자가 인증되었다면, 금융 기관(620)은 하나 또는 그 초과의 벤더들(622A, 622B 등)과 직접 통신하여 돈을 벤더들에게 직접 송신할 수 있다. 다른 실시예들(도시되지 않음)에서, AR 서버(612)는 하나 또는 그 초과의 구매들에 대해 데이터를 통신하기 위하여 또한 벤더들과 직접 통신할 수 있다.
[0082] 일부 실시예들에서, 사용자(680)는 하나 또는 그 초과의 금융 트랜잭션들을 계속 진행하기 위하여 AR 서버(612)에 연결될 필요가 없을 수 있다는 것이 인지되어야 한다. 예컨대, 일부 실시예들에서, AR 디바이스(62)는 복수의 전자-상거래 사이트들 등의 "오프라인 브라우징"을 허용할 수 있고, 사용자(680)는 오프라인 ID를 통하여 하나 또는 그 초과의 관심 물품들을 선택할 수 있다. 금융 기관(620) 또는 벤더(622)는 해당 특정 트랜잭션에 대해 생성된 난수 생성기를 가질 수 있고, 이는, AR 디바이스(62)가 네트워크(650)에 연결되면 이후 검증될 수 있다. 다른 말로, AR 디바이스(62)가 AR 서버에 연결되지 않더라도, 시스템은 트랜잭션을 오프라인으로 입증할 수 있고, 그 다음 나중에 구매를 검증하기 위하여 부가적인 정보(예컨대, 생성된 난수)를 사용할 수 있다. 이것은, 사용자가 현재 AR 서버(612) 및/또는 금융 기관들 또는 벤더들에 연결되지 않았더라도 AR 디바이스(62)가 필요한 상업적 트랜잭션들에 참여하도록 허용한다.
[0083] 하나 또는 그 초과의 실시예들에서, 벤더들(622A, 622B 등)은, AR 디바이스(62)를 통하여 구매들을 하는 이런 새로운 패러다임을 가능하게 하는 AR 서버(612) 및/또는 금융 기관(들)(620)과의 미리-설정된 관계를 가질 수 있다. 위에서 설명된 실시예들이 단지 예시 목적들을 위해 제공되고, 다른 실시예들이 더 많거나 더 적은 컴포넌트들을 포함할 수 있다는 것이 인지되어야 한다.
[0084] 이제 도 7을 참조하면, AR 디바이스(62)를 통해 비지니스 트랜잭션을 수행하는 예시적인 흐름도가 제공된다. 702에서, 트랜잭션에 대해 입력이 수신될 수 있다. 예컨대, 사용자는 물품을 구매하는데 있어서의 관심을 (예컨대, 커맨드, 제스처 등을 통해) 명시적으로 표시할 수 있다. 다른 실시예들에서, AR 시스템은 지난 구매들, 사용자 관심들 등에 기반하여 AR 사용자에게 구매를 제안하고, 사용자로부터 확인을 수신할 수 있다. 또 다른 실시예들에서, AR 시스템은 다양한 물품들의 "히트 맵들"에 기반하여 관심을 평가할 수 있다. 구체적으로, 사용자가 보고 있는 장소, 및 얼마나 오랫동안 보고 있는지를 AR 디바이스(62)가 알기 때문에, AR 디바이스(62)는, 물품의 사용자 관심을 결정하기 위하여, 사용자가 다양한 가상 및/또는 실제 객체들을 얼마나 오래 보았는지를 결정할 수 있다. 예컨대, 사용자가 특정 상표에 대한 가상 광고를 보고 있으면, AR 디바이스(62)는, 사용자가 특정 제품을 얼마나 오래 보았는지를 결정함으로써 사용자의 관심을 측정할 수 있다. 하나 또는 그 초과의 실시예들에서, AR 시스템은 하나 또는 그 초과의 사용자들이 특정 제품을 얼마나 오래 보았는지에 기반하여 히트 맵들을 생성할 수 있다. 히트 맵이 특정 제품의 관심(예컨대, 특정 물품을 보는데 소비한 시간 양이 미리 결정된 시간 임계치 양을 초과함)을 표시하면, AR 디바이스(62)는 제품 구매에 관한 AR 사용자로부터의 확인을 요청할 수 있다.
[0085] 704에서, AR 디바이스(62)는 사용자-식별 프로토콜을 수행할 수 있다. 아래에 추가로 상세히 설명될 바와 같이, 많은 타입들의 사용자-식별 프로토콜들이 있을 수 있다. 하나 또는 그 초과의 실시예들에서, AR 디바이스(62)는, 사용자가 검증되었는지를 결정하기 위하여 단순히 눈 움직임들에 기반하여 "패스워드"를 요청할 수 있다. 다른 실시예에서, AR 디바이스(62)는 사용자의 홍채 사진을 캡처할 수 있고, 그리고 사용자가 AR 디바이스(62)의 유효 사용자(및 AR 디바이스(62)에 링크된 계좌들)인지를 확인한다. 다른 실시예에서, AR 디바이스(62)는 AR 디바이스(62)가 사용자의 머리 상에 계속 있는 연속성(예컨대, 사용자가 AR 디바이스(62)를 전혀 제거하지 않으면, 사용자가 동일하다는 개연성이 있음)을 모니터링할 수 있다. 하나 또는 그 초과의 실시예들에서, AR 디바이스(62)는, 사용자-식별 프로토콜에 기반하여, 홍채 이미지들을 주기적으로 캡처하거나, 또는 사용자가 AR 디바이스(62)의 검증된 사용자인 것을 보장하기 위하여 주기적으로 테스트들을 수행할 수 있다. 본원에 논의된 바와 같이, 생체 인증 데이터를 통하여 사용자를 식별하기 위한 많은 방식들이 있고, 일부 예시적인 방법들은 아래에 추가로 설명될 것이다.
[0086] 일부 실시예들에서, 식별 프로토콜은 사용자의 끊임없는 식별(예컨대, 눈의 움직임 패턴들, 피부와의 접촉 등)일 수 있다. 다른 실시예들에서, 식별 프로토콜은 (임의의 식별 방법을 통하여) 단순히 1회 식별일 수 있다. 따라서, 일부 실시예들에서, AR 시스템이 사용자를 한번 식별하였으면, 동일한 사용자는, 개재 이벤트가 발생하지 않으면(예컨대, 사용자가 AR 디바이스(62)를 제거함, 네트워크 연결의 인터럽션 등) 식별될 필요가 없을 수 있다. 705에서, AR 디바이스(62)는, 식별 프로토콜이 생체 인증 데이터의 캡처를 요구하는지를 결정할 수 있다. 사용자 프로토콜이 생체 인증 데이터가 캡처될 것을 요구하면, AR 디바이스는 생체 인증 데이터를 캡처할 수 있다. 그렇지 않으면, AR 디바이스(62)는 비-생체 인증 캡처 식별 방법을 통하여 사용자를 식별하도록 진행할 수 있다.
[0087] 706에서, 사용자-식별 프로토콜에 기반하여, 생체 인증 데이터가 캡처될 수 있다. 예컨대, 사용자-식별 프로토콜이 알려진 패턴을 검출하기 위한 눈 테스트이면, AR 디바이스(62)는 하나 또는 그 초과의 눈 추적 카메라들을 통하여 사용자의 눈 움직임을 추적할 수 있다. 캡처된 움직임은, 사용자가 검증되었는지를 결정하기 위하여 "패스워드" 또는 서명 눈 움직임과 상관될 수 있다. 또는, 사용자-식별 프로토콜이 홍채 캡처이면, 홍채의 이미지는 캡처될 수 있고, 사용자의 알려진 이미지와 상관될 수 있다. 또는, AR 사용자가 AR 디바이스(62)를 착용할 때마다, 홍채 캡처 또는 눈 테스트는 사용자의 아이덴티티를 검증하기 위하여 수행될 수 있다. 생체 인증 데이터가 일부 실시예들에서 눈-관련될 수 있거나, 다른 타입들의 생체 인증 데이터일 수 있다는 것이 인지되어야 한다. 예컨대, 생체 인증 데이터는 하나 또는 그 초과의 실시예들에서 음성일 수 있다. 하나 또는 그 초과의 실시예들에서, 생체 인증 데이터는 속눈썹 관련 데이터, 또는 눈 형상 데이터일 수 있다. 다른 사용자들보다 사용자를 고유하게 식별하기 위해 사용될 수 있는 임의의 타입의 생체 인증 데이터가 사용될 수 있다.
[0088] 708에서, 생체 인증 데이터는 미리결정된 사용자 식별 데이터에 비교되어, 사용자를 식별할 수 있다. 또는, 사용자 식별이 생체 인증 데이터를 요구하지 않으면, AR 디바이스(62)는, 예컨대, 사용자가 AR 디바이스(62)를 벗지 않은 것을 결정할 수 있고, 그러므로 사용자가 이전에 식별된 사용자와 동일하다는 것을 표시할 수 있다. 사용자가 식별되면, AR 디바이스(62)는 710으로 진행하여 하나 또는 그 초과의 금융 기관들에게 정보를 송신한다.
[0089] 사용자가 식별되지 않으면, AR 디바이스(62)는 다른 사용자-식별 프로토콜을 수행할 수 있거나, 그렇지 않으면 사용자가 트랜잭션을 하는 것을 차단할 수 있다. 사용자가 식별되면, 710에서 원하는 물품에 대한 데이터는 클라우드, 및 금융 기관에 송신될 수 있다. 예컨대, 위의 예 다음에, 원하는 신발에 관한 정보(예컨대, 제품 번호, 원하는 양, 사용자에 관한 정보, 선적 주소, 사용자 계좌 등)는 벤더들 및/또는 금융 기관에 통신될 수 있다.
[0090] 712에서, AR 시스템은, 지불이 완료되고 및/또는 허가되었다는 확인을 금융 기관으로부터 수신할 수 있다. 714에서, 확인 메시지는, 구매가 완료되었다는 것을 확인하기 위하여 사용자에게 디스플레이될 수 있다.
[0091] 위에서 논의된 바와 같이, 하나 또는 그 초과의 실시예들에서, 입증 목적들(금융 트랜잭션들 및 다른 목적들)을 위해 사용자를 식별하기 위한 하나의 접근법은 사용자 식별 테스트를 주기적으로 관리함에 의한 것이다. 하나 또는 그 초과의 실시예들에서, 사용자-식별 방법은 사용자 식별 테스트를 완료하기 위하여 눈-관련 데이터를 활용할 수 있다. AR 디바이스(62)에는 사용자의 눈 움직임들을 연속으로 추적하는 눈 추적 카메라들이 갖추어지기 때문에, 눈 움직임들의 알려진 패턴은 사용자를 인식하고 및/또는 식별하기 위한 눈 테스트로서 사용될 수 있다. 예컨대, 패스워드는 쉽게 카피되거나 도난될 수 있지만, 눈 움직임들 또는 다른 사용자들의 다른 생리적인 특징들을 복제하는 것은 어려울 수 있고, 이는 AR 디바이스(62)의 비-허가된 사용자들을 더 쉽게 식별하게 한다.
[0092] 하나 또는 그 초과의 실시예들에서, AR 디바이스(62)의 셋업 동안, 시스템은, 사용자의 입력에 의해, 사용자에게 고유한 눈 움직임의 알려진 패턴(즉, 눈-패스워드와 유사함)을 구성할 수 있다. 눈 움직임의 이런 알려진 패턴은, 사용자-식별 프로토콜이 수행될 때마다 저장되고 상관될 수 있다.
[0093] 이제 도 8a 및 도 8b의 실시예(800)를 참조하면, 사용자의 눈들(804)의 예시적인 눈 패턴(802)이 제공된다. 도 8a에 도시된 바와 같이, AR 디바이스(806)는 눈-추적 카메라들(도시되지 않음)을 통하여 사용자의 눈 움직임을 추적하고, 그리고 그 패턴을 눈 움직임의 알려진 패턴(즉, 눈 패스워드)과 상관시킬 수 있다. 눈 움직임 패턴이 (임계치 내에서) 알려진 패턴에 가까우면, AR 디바이스(806)는 사용자가 트랜잭션을 수행하도록 허용할 수 있다. 도 8a에 도시된 바와 같이, 사용자는 표시된 패턴으로 자신의 눈을 움직일 수 있다. 예시 목적들을 위하여, 라인(802)은 눈 패턴을 표현하기 위하여 그려진다. 물론, 실제로, 라인은 없을 것이지만, 눈 추적 디바이스들은 그런 움직임을 간단히 추적하고 이를 원하는 데이터 포맷으로 전환할 것이다.
[0094] 하나 또는 그 초과의 실시예들에서, 추적된 눈 패턴이 눈 움직임의 미리결정된 알려진 패턴과 상관되는지를 결정하기 위하여, 도 8b에 도시된 것과 유사한 그리드(grid)(904)가 활용될 수 있다. 다른 그런 기법들이 또한 사용될 수 있다는 것이 인지되어야 한다. 그리드(904)의 사용을 통하여, 이용가능 공간을 이산화된(discretized) 영역들로 분할함으로써, 추적된 눈 패턴(802)이 미리결정된 패턴(902)과 가장 가깝게 유사한지를 결정하는 것이 더 쉬울 수 있다. 예컨대, 도 8b에 도시된 바와 같이, 추적된 눈 패턴(802)은 거의 미리결정된 패턴(902)(미리결정된 패턴과 연관된 각각의 그리드 정사각형의 중심들을 연결한 굵은 선에 의해 표시됨)을 따른다. 비록 도 8b가 그리드(904)의 다소 단순화된 버전을 표현하지만, 각각의 그리드의 사이즈가 더 정확한 결정들을 위해 감소될 수 있다는 것이 인지되어야 한다.
[0095] 예시된 실시예에서, 추적된 눈 움직임이 미리결정된 그리드 정사각형들의 영역을 커버하면, 패턴이 인식될 수 있다. 다른 실시예들에서, 사용자가 사용자-식별 테스트를 통과한 것으로 여겨지기 전에, 대부분의 그리드 정사각형들은 적중(hit)될 필요가 있을 수 있다. 유사하게, 다른 그런 임계치들은 다양한 눈-움직임 추적 프로토콜들을 위해 고안될 수 있다. 위와 유사한 하나 또는 그 초과의 실시예들에서, 깜박임 패턴은 유사하게 활용될 수 있다. 예컨대, 눈 움직임 패턴을 활용하기보다, 눈-패스워드는 일련의 깜박임들, 또는 사용자의 서명을 추적하기 위한 움직임과 결합된 깜박임들일 수 있다.
[0096] 이제 도 9를 참조하면, 눈-움직임 서명을 검출하는 예시적인 프로세스가 설명된다. 902에서, 눈-움직임 테스트가 개시될 수 있다. 예컨대, AR 사용자는 물품을 구매하기 위한 바람을 표시할 수 있거나, AR 사용자는 AR 디바이스(62, 806)를 내려놓을 수 있고 AR 디바이스(62, 806)를 착용하는 것을 다시 재개할 수 있다. 다른 실시예에서, 눈-움직임 테스트는 보안 목적들을 위하여 주기적으로 관리될 수 있다.
[0097] 904에서, 눈-움직임 패턴은 추적되고 수신될 수 있다. 예컨대, 가상 디스플레이 스크린은 사용자의 눈들로 알려진 패턴을 형성하도록 사용자를 트리거할 수 있는 "패스워드 입력"에 대한 명령들을 디스플레이할 수 있다.
[0098] 906에서, 추적된 눈-움직임은 특정 데이터 포맷으로 전환될 수 있다. 예컨대, 그리드 접근법을 다시 참조하면, 데이터는 눈-움직임에 의해 적중된 그리드들의 좌표들을 표시할 수 있다. 많은 다른 접근법들이 유사하게 사용될 수 있다.
[0099] 908에서, 전환된 데이터는 알려진 서명 눈-움직임 패턴의 미리결정된 데이터에 비교될 수 있다. 910에서, AR 시스템은, 추적된 눈-움직임이 임계치 내에서 미리결정된 패턴에 매칭하는지를 결정할 수 있다. 912에서, 눈 패턴이 임계치 내에서 알려진 눈 패턴에 매칭하지 않는 것이 결정되면, 사용자는 테스트를 실패하고, 구매하는 것이 차단될 수 있거나, 다시 테스트를 받아야 할 수 있다. 914에서, 눈 패턴이 임계치 내에서 알려진 눈 패턴에 매칭하는 것이 결정되면, 사용자는 테스트를 통과하고, 구매를 하도록 허용받을 수 있다.
[00100] 또 다른 접근법에서, 눈-테스트를 관리하기보다, AR 시스템은 AR 사용자의 눈의 사진을 주기적으로 캡처하고, 사용자의 눈의 캡처된 이미지를 알려진 정보와 비교함으로써 눈-식별을 수행할 수 있다. 하나 또는 그 초과의 실시예들에서, 사용자가 막 구매하려고 할 때, AR 디바이스(62, 806)는 사용자에게 제시된 특정 가상 객체를 쳐다보도록 사용자에게 요청할 수 있다. 이것은 사용자의 눈이 정지하는 것을 허용하고, 그리고 사용자의 눈 이미지는 캡처되고, 비교될 수 있다. 눈의 사진이 사용자의 눈의 알려진 사진과 상관되면, AR 사용자는 구매를 하도록 허용받을 수 있다. 눈-식별 기법들에 대한 추가 세부사항들은 대리인 도킷 번호 ML 30028.00 이면서 발명의 명칭이 "DEVICES, METHODS AND SYSTEMS FOR BIOMETRIC USER RECOGNITION UTILIZING NEURAL NETWORKS"인 공동 계류 중인 출원 62/159,593호에 제공된다.
[00101] AR 시스템은 일반적으로, 사용자의 눈들이 응시하는(또는 "보고 있는") 장소 및 사용자의 눈들이 포커싱된 장소를 아는 것을 필요로 하기 때문에, 이런 특징은 식별 목적들을 위해 유리하게 사용될 수 있다. 따라서, 다양한 실시예들에서, "HMD"(head mounted display) 컴포넌트는 사용자의 눈들에 관한 이미지 정보를 캡처하기 위하여 배향되는 하나 또는 그 초과의 카메라들을 특징으로 한다. 일 구성에서, 도 5에 묘사된 것과 같이, 사용자의 각각의 눈은, 눈들의 표면들 상에 글린트(glint)들을 유도하기 위하여, 카메라에 대해 알려진 오프셋 거리들을 가지는 3 또는 그 초과의 LED들(일 실시예에서 도시된 바와 같이 눈들 바로 아래에 있음)과 함께, 눈에 포커싱되는 카메라를 가질 수 있다.
[00102] 각각의 카메라에 대해 알려진 오프셋들을 가지는 3 또는 그 초과의 LED들의 존재는, 삼각측량에 의해 카메라로부터 3D 공간의 각각의 글린트 포인트까지의 거리의 결정을 허용한다. 적어도 3개의 글린트 포인트들 및 눈의 대략 구체 모델을 사용하여, 시스템은 눈의 곡률을 추론할 수 있다. 눈에 대해 알려진 3D 오프셋 및 배향에 의해, 시스템은 사용자를 식별하기 위하여 사용하기 위한 홍채 또는 망막의 정확한(이미지들) 또는 추상적(기울기들 또는 다른 피처들) 템플릿(template)들을 형성할 수 있다. 다른 실시예들에서, 눈의 다른 특성들, 이를테면 눈 내 및 눈에 걸친 정맥들의 패턴은 또한 사용자를 식별하기 위하여 (예컨대, 홍채 또는 망막 템플릿들과 함께) 사용될 수 있다.
[00103] 일 접근법에서, 홍채-이미지 식별 접근법이 사용될 수 있다. 주근깨, 주름 및 링(ring)들을 비롯하여, 눈의 홍채 내 근육 섬유들의 패턴은 각각의 사람에 대한 안정되고 고유한 패턴을 형성한다. 다양한 홍채 피처들은 가시광 이미징과 비교할 때 적외선 또는 근-적외선 이미징을 사용하여 더 쉽게 캡처될 수 있다. 시스템은 많은 상이한 방식들로 캡처된 홍채 피처들을 식별 코드로 변환할 수 있다. 목표는 눈으로부터 충분히 풍부한 텍스처(texture)를 추출하는 것이다. 수집된 데이터의 충분한 자유도들에 의해, 시스템은 이론적으로 고유 사용자를 식별할 수 있다.
[00104] 다른 접근법에서, 망막 이미지 식별이 유사하게 사용될 수 있다. 일 실시예에서, HMD는 조종가능 광섬유 케이블에 의해 조종되는 레이저 스캐너에 의해 구동되는 회절 디스플레이를 포함한다. 이 광섬유 케이블은 또한 눈의 내부를 시각화하고 그리고 시각적 수용체들(로드들 및 콘들) 및 혈관들의 고유 패턴을 가지는 망막을 이미징하기 위하여 활용될 수 있다. 이들 로드들 및 콘들은 또한 각각의 개인에게 고유한 패턴을 형성할 수 있고, 그리고 각각의 사람을 고유하게 식별하기 위해 사용될 수 있다.
[00105] 예컨대, 각각의 사람의 다크(dark) 및 라이트(light) 혈관들의 패턴은 고유하고, 그리고 망막 이미지에 기울기 연산자(gradient operator)들을 적용하고 망막의 중심에 중심을 둔 표준화된 그리드에서 하이 로우 트랜지션(transition)들을 카운팅하는 것과 같은 표준 기법들에 의해 "다크-라이트" 코드로 변환될 수 있다.
[00106] 따라서, 본 시스템들은 시스템에 의해 캡처되거나 검출된 사용자 특성들을 시스템의 허가된 사용자에 대한 알려진 베이스라인(baseline) 사용자 특성들과 비교함으로써 향상된 정확도 및 정밀도로 사용자를 식별하는데 활용될 수 있다.
[00107] 또 다른 실시예들에서, 눈의 곡률/사이즈는 유사하게 사용될 수 있다. 예컨대, 이 정보는, 상이한 사용자들의 눈들이 유사하지만 정확하게 동일하지 않기 때문에, 사용자를 식별하는 것을 도울 수 있다. 다른 실시예들에서, 일시적 생체 인증 정보는, 사용자가 스트레스를 받고 알려진 데이터에 상관될 때, 수집될 수 있다. 예컨대, 사용자의 심박수는 모니터링될 수 있고, 사용자의 눈들이 수막을 형성하는지, 눈들이 버징하고 함께 포커싱하는지, 호흡 패턴들, 깜박임 레이트들, 맥박수 등은 사용자의 아이덴티티를 확인 및/또는 입증하기 위하여 유사하게 사용될 수 있다.
[00108] 또 다른 실시예들에서, (예컨대, 미스-아이덴티티(mis-identity)가 의심되면) 사용자의 아이덴티티를 확인하기 위하여, AR 시스템은 AR 디바이스를 통하여 캡처된 정보(예컨대, AR 디바이스(62, 806)의 시야 카메라들을 통하여 캡처된 주변 환경의 이미지들)를 상관시킬 수 있고, 그리고 사용자가 GPS 및 환경의 맵들로부터 유도된 위치와 상관되는 동일한 장면을 보고 있는지를 결정할 수 있다. 예컨대, 사용자가 아마도 집에 있으면, AR 시스템은 사용자의 시야 카메라들을 통하여 보여지는 것과 사용자의 집의 상관된 알려진 객체들에 의해 검증할 수 있다.
[00109] 위에서-설명된 AR/사용자 식별 시스템은 극히 안전한 형태의 사용자 식별을 제공한다. 다른 말로, 시스템은, 어느 사용자가 비교적 높은 정도의 정확도 및 정밀도롤 갖는지를 결정하기 위하여 활용될 수 있다. 시스템은 (예컨대, 주기적인 모니터링을 사용하여) 어느 사용자가 대단히 높은 정도의 확실성, 및 지속적인 기준을 가지는지를 알기 위해 활용될 수 있기 때문에, 별도의 로그인들에 대한 필요 없이 다양한 금융 트랜잭션들을 가능하게 하도록 활용될 수 있다. 사용자 식별 시스템이 매우 정확한 것을 보장하기 위한 하나의 접근법은, 대리인 도킷 번호 ML 30028.00의 공동 계류 중인 출원 62/159,593호에 더 상세히 설명된 바와 같이, 뉴럴 네트워크들의 사용을 통해서이다.
[00110] 이제 도 10a-도 10i를 참조하면, 트랜잭션들을 수행하기 위하여 생체 인증 데이터를 사용하는 예시적인 프로세스 흐름(1000)이 예시된다. 도 10a에 도시된 바와 같이, AR 디바이스(1004)를 착용한 사용자(1002)가 상점으로 들어간다. 상점에 있는 동안, 사용자(1002)는, 그가 구매하는데 관심이 있을 수 있는 한 쌍의 신발(1006)을 볼 수 있다.
[00111] 이제 도 10b를 참조하면, AR 디바이스(1004)를 통해 사용자(1002)에 의해 보여지는 신발들의 예시적인 뷰가 도시된다. 사용자의 시선이 한 쌍의 신발(1006)에 포커싱된 것을 검출하면, AR 디바이스(1004)는 한 쌍의 신발(1006)에 관한 세부사항들을 (예컨대, AR 디바이스(1004)에 동기화된 제품 카탈로그 등을 통하여) 조사할 수 있고, 가상 콘텐츠(1008)로서 세부사항들을 디스플레이할 수 있다. 이제 도 10c를 참조하면, AR 디바이스(1004)는, 사용자가 가상 콘텐츠(1010)를 디스플레이함으로써 물품을 구매하기를 원하는지 결정할 수 있다. 사용자(1002)는 임의의 형태의 사용자 입력(예컨대, 제스처들, 음성, 눈 제어 등)을 통해 확정하거나 거절할 수 있다.
[00112] 이제 도 10d를 참조하여, 사용자가 구매를 확정한 것을 가정하면, AR 디바이스(1004)는 가상 콘텐츠(1012)를 통하여 패스워드를 요청할 수 있다. 이때, 도 10e에 도시된 바와 같이, 사용자(1002)는 눈 서명(1016)을 생성하도록 진행할 수 있다. 하나 또는 그 초과의 실시예들에서, 가상 그리드(1014)는 특정 방식으로 눈들을 움직이는 것을 돕기 위하여 사용자에게 제시될 수 있다.
[00113] 도 10f에 도시된 바와 같이, 입력된 서명(1016)은 AR 시스템(1004)에 의해 수신될 수 있고, 그리고 사용자가 인증된 사용자인지를 결정하기 위하여 미리결정된 서명에 비교된다. 사용자가 인증되면, AR 디바이스(1004)는, 도 10g에 도시된 바와 같이, 원하는 제품에 대한 데이터를 네트워크(1018)를 통하여 AR 서버(1020)로부터, 벤더(1024) 및 금융 기관(1022)으로 송신할 수 있다. AR 서버(1020)로부터 수신된 확인에 기반하여, 금융 기관(1022)은 벤더(1024)에게 적절한 통화(monetary) 금액을 송신할 수 있다.
[00114] 도 10h에 도시된 바와 같이, 일단 트랜잭션이 확인되었다면, AR 디바이스(1004)는 신발(1006)의 구매를 확인하는 가상 콘텐츠(1026)를 디스플레이할 수 있다. 확인이 수신되었다면, 사용자(1002)는 도 10i에 도시된 바와 같이 원하는 신발(1006)을 가지고 상점밖으로 나올 수 있다.
[00115] 도 10a-도 10i의 프로세스 흐름이 단지 예시적인 목적들만을 위하여 본원에 제시된 단지 예시적인 실시예만을 표현하고 제한으로서 이해되지 않아야 된다는 것이 인지되어야 한다. 다수의 다른 실시예들이 유사하게 구상될 수 있다. 예컨대, 하나 또는 그 초과의 실시예들에서, "패스워드"를 요청하기보다(예컨대, 도 10d), AR 시스템은 사용자가 스크린상의 가상 점을 쳐다보도록 요청하고, 그리고 사용자의 눈의 이미지(예컨대, 망막, 홍채, 눈 형상 등)를 캡처할 수 있다. 그 다음으로, 이 이미지가 사용자의 눈의 알려진 이미지에 상관될 수 있고, 사용자의 아이덴티티가 확인될 수 있다. 사용자의 아이덴티티가 확인되었다면, AR 시스템은 도 10g에 도시된 바와 같이 정보를 벤더(1024) 및 금융 기관(1022)에게 송신할 수 있다. 유사하게, 많은 다른 유사한 실시예들이 구상될 수 있다.
[00116] 위에서 설명된 바와 같이, 그런 인증 및 지불 시스템이 트랜잭션들을 종래의 지불 모델들보다 훨씬 더 쉽게 만든다는 것이 인지되어야 한다. 백화점에 대한 길고 힘든 여정들보다, 쇼핑은 "놀이터" 경험이 되고, 여기서 사용자들은 단순히 상점으로 들어가서, 임의의 수의 제품들을 픽업하고, 그리고 단순히 상점밖으로 나올 수 있다. AR 시스템은 대부분의 지불 세부사항들을 처리하고, 쉽게 추적되는 생체 인증 데이터에 기반하여 간단한 비 침입식 식별 체크만을 요구한다. 위에서 설명된 바와 같이, 일부 실시예들에 따른 식별 체크들은 구매 시점에서 임의의 사용자 액션을 요구하지 않는다.
[00117] 위에서 상세히 논의된 바와 같이, 종래의 패스워드들 또는 사인/로그인 코드들은 위에서 설명된 AR/사용자 식별 시스템들 및 방법들을 사용하여 개별 안전 트랜잭션들로부터 제거될 수 있다. 본 시스템은 매우 높은 정도의 확실성으로 사용자를 사전-식별/사전-인증할 수 있다. 게다가, 시스템은 주기적인 모니터링을 사용하여 시간에 걸쳐 사용자의 식별을 유지할 수 있다. 그러므로, 식별된 사용자는, 임의의 사이트의 텀(term)들에 관한 통지(사용자에게 오버레이된 사용자 인터페이스 아이템으로서 디스플레이될 수 있음) 후 그 사이트에 대한 즉각적인 액세스를 가질 수 있다. 일 실시예에서, 시스템은 사용자에 의해 미리결정된 표준 텀들의 세트를 생성할 수 있어서, 사용자는 그 사이트에 대한 조건들을 즉각적으로 알 수 있다. 사이트가 이런 조건들의 세트(예컨대, 표준 텀들)를 준수하지 않으면, 본 시스템은 자동으로 그 액세스 또는 트랜잭션들을 허용하지 않을 수 있다.
[00118] 부가적으로, 위에서-설명된 AR/사용자 식별 시스템들은 "마이크로-트랜잭션들"을 가능하게 하기 위하여 사용될 수 있다. 마이크로-트랜잭션들은 사용자의 금융 계좌에 매우 작은 인출액들 및 신용 거래들을 생성하는데, 이는 통상적으로 대략 몇 센트 또는 1센트 미만이다. 주어진 사이트에서, 본 시스템은, 사용자가 일부 콘텐츠를 보거나 사용하는 것뿐 아니라 얼마나 오랫동안(빠른 브라우징(browse)은 무료일 수 있지만, 특정 양을 초과할 때 요금이 부과될 것임) 보거나 사용했는지를 알도록 구성될 수 있다. 다양한 실시예들에서, 뉴스 기사는 1/3 센트의 비용이 들 수 있고; 책은 1페이지에 1페니가 청구될 수 있고; 음악은 한 번 듣는데 10 센트가 청구될 수 있는 식이다. 다른 실시예에서, 광고주는 배너 광고를 선택하거나 설문 조사에 대해 사용자당 1/2 센트를 지불할 수 있다. 시스템은 트랜잭션 비용 중 작은 퍼센티지를 서비스 제공자에게 배분하도록 구성될 수 있다.
[00119] 일 실시예에서, 시스템은 사용자가 제어가능한 특정 마이크로-트랜잭션 계좌를 생성하는데 활용될 수 있고, 여기서 마이크로-트랜잭션들에 관련된 자금들은 사용자의 더 종래의 금융 계좌(예컨대, 온라인 은행 계좌)에/로부터 미리결정된 의미 있는 양들로 총합되어 분배된다. 마이크로-트랜잭션 계좌는 정기적 간격들로(예컨대, 분기별로) 또는 특정 트리거들(예컨대, 사용자가 특정 웹사이트에서 몇 달러들을 초과하여 소비하였을 때)에 대한 응답으로 결제되거나 자금이 조달될 수 있다.
[00120] 마이크로-트랜잭션들이 종래의 지불 패러다임들에서 통상적으로 비현실적이고 번거롭지만, 본원에 설명된 지불 기법들에서 설명된 바와 같이 거의 즉각적인 사용자 식별 및 인증을 통하여 트랜잭션들이 발생하게 하는 용이함은 마이크로-트랜잭션들과 통상적으로 연관된 많은 장애물들을 제거한다. 이것은 차후 비지니스에 대한 수익 창출의 새로운 방안들을 열 수 있다. 예컨대, 음악, 책들, 광고 등으로 수익을 창출하는 것이 더 쉬울 수 있다. 사용자들은 뉴스 기사에 대해 1 달러를 지불하는 것에 대해 주저할 수 있지만, 이들은 1센트의 몇분의 일(fraction)이 드는 기사에 대해서는 덜 주저할 수 있다. 유사하게, 이들 트랜잭션들(마이크로 및 매크로들)이 수행하기에 상당히 더 쉽다면, 광고주들 및 게시자들 모두는 상이한 타입들의 지불 방식들에 대해 콘텐츠를 공개할 개연성이 더 클 수 있다. 따라서, AR 시스템은 콘텐츠의 지불 및 전달 둘 모두를 가능하게 하고, 이에 의해 프론트-엔드(front-end) 및 백-엔드(back-end) 프로세스 둘 다가 비교적 쉬워진다.
[00121] 본 시스템 및 기능성이 증강 현실에 초점을 둔 회사에 의해 제공될 수 있고, 그리고 사용자의 ID가 매우 확실하고 안전하게 알려지기 때문에, 사용자는 자신의 계좌들에 대한 즉각적인 액세스, 금액들의 3D 보기, 소비, 소비 비율 및 그 소비의 그래픽 및/또는 지리적 맵을 제공받을 수 있다. 그런 사용자들은 소비(예컨대, 마이크로-트랜잭션들)를 멈췄다 다시하는 것을 비롯하여 소비 액세스를 즉각적으로 조정하도록 허용받을 수 있다.
[00122] 매크로-소비(즉, 페니 또는 페니의 일부가 아닌, 달러 단위의 금액들)에 대해, 다양한 실시예들이 본 시스템 구성들로 가능하게 될 수 있다.
[00123] 사용자는 부패하기 쉬운 상품들을 주문하여 자신의 추적된 위치 또는 사용자 선택 맵 위치로 배달하기 위하여 시스템을 사용할 수 있다. 시스템은 또한, 배달들이 도착할 때 (예컨대, AR 시스템에서 만들어진 배달 비디오를 디스플레이함으로써) 사용자에게 통지할 수 있다. AR 텔레프레즌스(telepresence)를 사용하면, 사용자는 자신의 집에서 떨어진 사무실에 물리적으로 위치될 수 있지만, 배달원을 자신의 집안으로 보내고, 아바타 텔레프레즌스로 배달원에게 나타나고, 배달원이 제품을 배달할 때 배달원을 지켜보고, 그 다음 배달원이 떠나는 것을 확인하고, 그리고 아바타에 의해 자신의 집에 대한 문을 잠글 수 있다.
[00124] 선택적으로, 시스템은 사용자 제품 선호도들을 저장할 수 있고 사용자가 선호하는 제품들에 관련된 판매들 또는 다른 프로모션들에 대해 사용자에게 알릴 수 있다. 이들 매크로-소비 실시예들에 대해, 사용자는 자신의 계좌 요약, 자신의 계좌의 모든 통계들 및 구매 패턴들을 볼 수 있고, 이에 의해 자신의 주문 전에 비교 쇼핑이 가능하게 된다.
[00125] 시스템이 눈을 추적하는데 활용될 수 있기 때문에, 또한 "한번에 모아보기(one glance)" 쇼핑이 가능하게 될 수 있다. 예컨대, 사용자는 물건(말하자면 호텔의 가운)를 보고 그리고 "내 계좌가 $3,000 초과로 다시 돌아갈 때, 이를 원해"라고 말할 수 있다. 시스템은, 특정 조건들(예컨대, 계좌 잔액이 $3,000 초과임)이 달성될 때 구매를 실행할 것이다.
[00126] 위에서 논의된 바와 같이, 하나 또는 그 초과의 실시예들에서, 홍채 및/또는 망막 서명 데이터는 통신들을 보안하기 위해 사용될 수 있다. 그런 실시예에서, 본 시스템은, 사용자가 하나 또는 그 초과의 동적으로 측정된 홍채 및/또는 망막 서명들에 기반하여 인증될 수 있을 때에만 액세스를 허용하는 신뢰된 안전한 하드웨어 디바이스들에만 텍스트, 이미지 및 콘텐츠가 선택적으로 송신가능하고 그리고 디스플레이가능하게 허용되도록 구성될 수 있다. AR 시스템 디스플레이 디바이스가 직접 사용자의 망막 상에 투사되기 때문에, 의도된 수신측(홍채 및/또는 망막 서명에 의해 식별됨)만이 보호된 콘텐츠를 볼 수 있고; 그리고 추가로, 뷰잉 디바이스가 사용자들 눈을 능동적으로 모니터링하기 때문에, 동적으로 판독된 홍채 및/또는 망막 서명들은, 콘텐츠가 실제로 사용자의 눈들에 제시되었다는 증가로서 레코딩될 수 있다(예컨대, 디지털 영수증의 형태로서, 아마도 눈 움직임들의 요청된 시퀀스를 실행하는 것과 같은 검증 동작을 동반함).
[00127] 위조 검출은 예상된 자연적 변화의 모델들에 기반하여 망막 이미지들, 정적 또는 2D 망막 이미지들, 생성된 이미지들 등의 이전 레코딩들을 사용하려는 시도들을 배제할 수 있다. 고유 기점/워터마크(watermark)가 생성되어 감사를 위한 고유 망막 서명을 생성하기 위해 망막들 상에 투사될 수 있다.
[00128] 위에서-설명된 금융 및 통신 시스템들은 더 정확하고 정밀한 사용자 인증으로부터 이익을 얻을 수 있는 다양한 공통 시스템들의 예들로서 제공된다. 따라서, 본원에 설명된 AR/사용자 식별 시스템들의 사용은 개시된 금융 및 통신 시스템들로 제한되는 것이 아니라, 오히려 사용자 인증을 요구하는 임의의 시스템에 적용가능하다.
[00129] 본 발명의 다양한 예시적 실시예들이 본원에 설명된다. 비-제한적 의미로 이들 예들에 대해 참조가 이루어진다. 이들 예들은 본 발명의 더 넓게 적용가능한 양상들을 예시하기 위하여 제공된다. 설명된 본 발명에 대해 다양한 변화들이 이루어질 수 있고 등가물들은 본 발명의 진정한 사상 및 범위에서 벗어남이 없이 대체될 수 있다. 게다가, 특정 상황, 재료, 물질 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상 또는 범위에 적응시키기 위하여 많은 수정들이 이루어질 수 있다. 추가로, 당업자는, 본원에 설명되고 예시된 개별 변동들 각각이 본 발명들의 범위 또는 사상에서 벗어남이 없이 다른 몇몇 실시예들 중 임의의 실시예의 피처들로부터 쉽게 분리되거나 결합될 수 있는 이산 컴포넌트들 및 피처들을 가지는 것을 인지할 것이다. 모든 그런 수정들은 본 개시내용과 연관된 청구항들의 범위 내에 있도록 의도된다.
[00130] 본 발명은 청구대상 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 그런 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그런 제공은 최종 사용자에 의해 수행될 수 있다. 다른 말로, "제공" 동작은 단순히, 최종 사용자가 청구대상 방법에 필수적인 디바이스를 제공하기 위하여 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 전력-인가 또는 달리 동작하는 것을 요구한다. 본원에 나열된 방법들은 논리적으로 가능한 나열된 이벤트들의 임의의 순서로 뿐 아니라, 이벤트들의 나열된 순서로 수행될 수 있다.
[00131] 재료 선택 및 제조에 관한 세부사항들과 함께, 본 발명의 예시적 양상들은 위에서 설명되었다. 본 발명의 다른 세부사항들에 관해서, 이들은 당업자들에게 일반적으로 알려지거나 인지되는 것뿐 아니라 위에서-참조된 특허들 및 공개물들과 관련하여 인지될 수 있다. 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들 측면에서 본 발명의 방법-기반 양상들에 관련하여 동일한 것이 적용될 수 있다.
[00132] 게다가, 본 발명이 다양한 피처들을 선택적으로 통합하는 몇몇 예들을 참조하여 설명되었지만, 본 발명은 본 발명의 각각의 변형에 관련하여 고려된 바와 같이 설명되거나 표시된 것으로 제한되지 않는다. 설명된 본 발명에 대해 다양한 변화들이 이루어질 수 있고 본 발명의 진정한 사상 및 범위에서 벗어남이 없이 등가물들(본원에 나열되든 일부 간략성을 위하여 포함되지 않든)이 대체될 수 있다. 게다가, 다양한 값들이 제공되는 경우, 그 범위의 상한과 하한 간의 모든 각각의 개재 값 및 그 언급된 범위 내의 임의의 다른 언급되거나 개재된 값은 본 발명 내에 포함되는 것으로 이해된다.
[00133] 또한, 설명된 본 발명의 변형들의 임의의 선택적인 피처가 본원에 설명된 피처들 중 임의의 하나 또는 그 초과에 독립적으로 또는 결합하여 설명되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 참조는, 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 구체적으로, 본원 및 본원에 연관된 청구항들에서 사용된 바와 같이, 단수 형태들은, 명확하게 다르게 언급되지 않으면 복수의 지시 대상들을 포함한다. 다른 말로, 단수들의 사용은 본 개시내용과 연관된 청구항들뿐 아니라 위의 상세한 설명의 청구대상 아이템 중 "적어도 하나"를 허용한다. 이 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것이 추가로 주목된다. 이와 같이, 이런 서술은 청구항 엘리먼트들의 나열과 관련하여 "오로지", "오직" 등 같은 그런 배타적인 용어의 사용, 또는 "네거티브" 제한의 사용을 위한 선행 기초로서의 역할을 하도록 의도된다.
[00134] 그런 배타적 용어의 사용 없이, 본 개시내용과 연관된 청구항들에서 "포함하는"이라는 용어는, 주어진 수의 엘리먼트들이 그런 청구항들에 열거되는지 여부에 무관하게 임의의 부가적인 엘리먼트의 포함을 허용할 수 있거나, 또는 피처의 부가는 그 청구항들에 설명된 엘리먼트의 성질을 변환하는 것으로 간주될 수 있다. 본원에 구체적으로 정의된 바를 제외하고, 본원에 사용된 모든 기술적 및 과학적 용어들은 청구 유효성을 유지하면서 가능한 한 일반적으로 이해되는 의미로 넓게 제공되어야 한다.
[00135] 본 발명의 폭은 제공된 예들 및/또는 청구대상 명세서로 제한되는 것이 아니라, 오히려 본 개시내용과 연관된 청구항 언어의 범위에 의해서만 제한된다.

Claims (28)

  1. 증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법으로서,
    상기 AR 디바이스를 착용한 사용자의 눈-관련 생체 인증 데이터를 캡처하는 단계 ― 상기 눈-관련 생체 인증 데이터는, 상기 AR 디바이스의 컴포넌트들이며 그리고 상기 눈-관련 생체 인증 데이터를 추적하기 위해 협동적으로 동작가능한 적어도 하나의 광원 및 적어도 하나의 카메라를 사용하여 캡처됨 ― ;
    상기 AR 디바이스와 통신하는 상기 로컬 프로세싱 모듈에 의해 수행되는 상기 눈-관련 생체 인증 데이터의 분석에 적어도 부분적으로 기초하여 상기 사용자의 아이덴티티를 결정하는 단계;
    상기 사용자의 시선의 방향에 있는 실세계 객체를 식별하는 것에 대한 응답으로 ― 상기 시선은, 상기 적어도 하나의 카메라에 의해 수집되고 그리고 상기 로컬 프로세싱 모듈에 의해 분석된 데이터에 기초하여 결정됨 ―, 상기 사용자로 하여금 상기 실세계 객체의 구매를 확인(confirm)하기 위해 미리결정된 패턴에 따라 그들의 시선을 움직이도록 촉구(prompt)하는 단계; 및
    상기 시선의 움직임이 상기 미리결정된 패턴에 해당하는지 확인하는 것에 대한 응답으로, 상기 객체를 구매하기 위해 트랜잭션을 개시하도록 상기 로컬 프로세싱 모듈에 의해 통신을 송신하는 단계 ― 상기 통신은 상기 사용자의 아이덴티티를 포함하고, 상기 통신은 결정된 아이덴티티에 기반하여 상기 트랜잭션을 위해 상기 사용자를 인증하는 원격 서버로 적어도 하나의 네트워크를 통해 송신됨 ―
    를 포함하는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  2. 제1 항에 있어서,
    상기 원격 서버가, 제2 네트워크를 통해, 상기 트랜잭션에 관한 데이터 세트를 금융 기관의 컴퓨터에 송신하는 단계를 더 포함하는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  3. 제1 항에 있어서,
    상기 눈-관련 생체 인증 데이터는 상기 AR 디바이스의 사용자의 눈의 홍채 패턴인,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  4. 제1 항에 있어서,
    상기 AR 디바이스의 스피커에 의해, 상기 사용자의 음성 레코딩을 포함하는 생체 인증 데이터를 캡처하는 단계를 더 포함하는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  5. 제1 항에 있어서,
    상기 눈-관련 생체 인증 데이터는 상기 AR 디바이스의 사용자의 눈의 망막 서명인,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  6. 제1 항에 있어서,
    상기 AR 디바이스에 의해, 상기 사용자의 피부와 연관된 특성을 포함하는 생체 인증 데이터를 캡처하는 단계를 더 포함하는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  7. 제1 항에 있어서,
    상기 눈-관련 생체 인증 데이터는 상기 사용자의 눈들의 움직임을 캡처하는 하나 또는 그 초과의 눈 추적 카메라들을 포함하는 적어도 하나의 카메라를 통해 캡처되는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  8. 제1 항에 있어서,
    상기 적어도 하나의 카메라에 의해 검출되는 상기 눈-관련 생체 인증 데이터는 상기 사용자의 눈들의 움직임 패턴인,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  9. 제1 항에 있어서,
    상기 눈-관련 생체 인증 데이터는 상기 사용자의 눈들의 깜박임 패턴인,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  10. 제1 항에 있어서,
    상기 AR 디바이스는 상기 사용자의 눈들 및 머리에 개별적으로 교정(calibrate)되는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  11. 제1 항에 있어서,
    상기 로컬 프로세싱 모듈은 캡처된 상기 눈-관련 생체 인증 데이터를 상기 사용자에 관한 미리결정된 데이터와 비교함으로써 상기 사용자의 아이덴티티를 결정하는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  12. 제11 항에 있어서,
    상기 미리결정된 데이터는 상기 AR 디바이스가 상기 사용자의 머리에 착용된 동안 상기 AR 디바이스에 의해 검출된 상기 사용자의 눈들의 알려진 서명 움직임인,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  13. 제11 항에 있어서,
    상기 미리결정된 데이터는 알려진 홍채 패턴인,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  14. 제11 항에 있어서,
    상기 미리결정된 데이터는 알려진 망막 패턴인,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  15. 제1 항에 있어서,
    개시되는 상기 트랜잭션은 비지니스 트랜잭션인,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  16. 제1 항에 있어서,
    상기 원격 서버가 상기 사용자의 인증을 상기 사용자와 연관된 금융 기관의 컴퓨터에 통신하는 단계를 더 포함하고, 상기 금융 기관의 컴퓨터는 상기 원격 서버로부터 수신되는 상기 인증에 적어도 부분적으로 기반하여 상기 사용자를 대신하여 지불금을 내주는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  17. 제16 항에 있어서,
    상기 금융 기관의 컴퓨터는 상기 사용자에 의해 표시된 하나 또는 그 초과의 벤더(vendor)들의 컴퓨터에게 상기 지불금을 송신하는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  18. 제1 항에 있어서,
    상기 로컬 프로세싱 모듈이 상기 AR 디바이스와 연관된 인터럽션(interruption) 이벤트를 검출하는 단계; 및
    상기 AR 디바이스가 검출된 인터럽션 이벤트 및 새로운 생체 인증 데이터에 적어도 부분적으로 기반하여 상기 사용자를 재인증하기 하기 위하여 상기 사용자로부터 새로운 생체 인증 데이터를 캡처하는 단계
    를 더 포함하는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  19. 제18 항에 있어서,
    상기 인터럽션 이벤트는 상기 사용자의 머리로부터 상기 AR 디바이스의 제거에 적어도 부분적으로 기반하여 상기 로컬 프로세싱 모듈에 의해 검출되는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  20. 제18 항에 있어서,
    상기 인터럽션 이벤트는 네트워크와 상기 AR 디바이스의 연결 상실에 적어도 부분적으로 기반하여 상기 로컬 프로세싱 모듈에 의해 검출되는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  21. 제1 항에 있어서,
    상기 사용자의 시선은 상기 AR 디바이스를 통해 제시되는 상기 실세계 객체에서의 상기 사용자의 시선과 연관된 히트 맵(heat map)에 적어도 부분적으로 기반하여 상기 로컬 프로세싱 모듈에 의해 검출되는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  22. AR 시스템을 통하여 트랜잭션을 개시하기 위한 상기 AR 시스템으로서,
    프로세서; 및
    상기 프로세서에 의해 실행하기 위한 하나 또는 그 초과의 프로그램들을 저장한 메모리
    를 포함하고,
    상기 하나 또는 그 초과의 프로그램들은, 제1 항 내지 제21 항 중 어느 한 항의 방법을 수행하도록 상기 프로세서에 의해 실행될 명령들을 포함하는,
    AR 시스템을 통하여 트랜잭션을 개시하기 위한 상기 AR 시스템.
  23. 제1 항 내지 제21 항 중 어느 한 항에 있어서,
    상기 방법 단계들을 실행하도록 실행가능한 코드를 가진 컴퓨터-사용가능 저장 매체에 저장된 컴퓨터 프로그램으로서 구현되는,
    증강 현실(AR) 디바이스 및 로컬 프로세싱 모듈을 포함하는 AR 시스템을 통하여 트랜잭션을 개시하는 방법.
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020177035995A 2015-05-14 2016-05-14 생체 인증 데이터를 추적하기 위한 증강 현실 시스템들 및 방법들 KR102393271B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562161588P 2015-05-14 2015-05-14
US62/161,588 2015-05-14
PCT/US2016/032583 WO2016183541A1 (en) 2015-05-14 2016-05-14 Augmented reality systems and methods for tracking biometric data

Publications (2)

Publication Number Publication Date
KR20180008632A KR20180008632A (ko) 2018-01-24
KR102393271B1 true KR102393271B1 (ko) 2022-04-29

Family

ID=57249401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177035995A KR102393271B1 (ko) 2015-05-14 2016-05-14 생체 인증 데이터를 추적하기 위한 증강 현실 시스템들 및 방법들

Country Status (8)

Country Link
EP (1) EP3295347A4 (ko)
JP (2) JP6863902B2 (ko)
KR (1) KR102393271B1 (ko)
CN (1) CN107533600A (ko)
AU (1) AU2016262579B2 (ko)
CA (1) CA2984455C (ko)
IL (1) IL255325B (ko)
WO (1) WO2016183541A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066079A (zh) 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
CN206301289U (zh) * 2016-11-29 2017-07-04 阿里巴巴集团控股有限公司 Vr终端设备
CN108334185A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种头戴显示设备的眼动数据反馈系统
CN106980983A (zh) * 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置
CN107122642A (zh) 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
US20200175144A1 (en) * 2017-08-10 2020-06-04 Nec Corporation Information acquisition system, information acquisition method, and storage medium
US11050752B2 (en) 2018-06-07 2021-06-29 Ebay Inc. Virtual reality authentication
EP3772699A1 (en) * 2019-08-09 2021-02-10 Siemens Aktiengesellschaft Method for user verification, communication device and computer program
KR102628102B1 (ko) * 2019-08-16 2024-01-23 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN111104927B (zh) * 2019-12-31 2024-03-22 维沃移动通信有限公司 一种目标人物的信息获取方法及电子设备
JP6839324B1 (ja) * 2020-08-06 2021-03-03 株式会社キューブシステム 入力システム、入力プログラムおよび入力方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090140839A1 (en) 2001-07-10 2009-06-04 American Express Travel Related Services Company, Inc. Systems and methods for non-traditional payment using biometric data
US20130030966A1 (en) 2011-07-28 2013-01-31 American Express Travel Related Services Company, Inc. Systems and methods for generating and using a digital pass

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001088857A1 (de) * 2000-05-16 2001-11-22 Swisscom Mobile Ag Biometrisches identifizierungs- und authentifizierungsverfahren
JP4765575B2 (ja) 2005-11-18 2011-09-07 富士通株式会社 個人認証方法、個人認証プログラムおよび個人認証装置
JP5375481B2 (ja) 2009-09-24 2013-12-25 ブラザー工業株式会社 ヘッドマウントディスプレイ
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US8482859B2 (en) * 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
JP5548042B2 (ja) * 2010-06-23 2014-07-16 ソフトバンクモバイル株式会社 ユーザ端末装置及びショッピングシステム
US8438110B2 (en) * 2011-03-08 2013-05-07 Bank Of America Corporation Conducting financial transactions based on identification of individuals in an augmented reality environment
US8988350B2 (en) * 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
US10223710B2 (en) * 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
US9100825B2 (en) * 2012-02-28 2015-08-04 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication based on different device capture modalities
HK1160574A2 (en) 2012-04-13 2012-07-13 King Hei Francis Kwong Secure electronic payment system and process
US8953850B2 (en) * 2012-08-15 2015-02-10 International Business Machines Corporation Ocular biometric authentication with system verification
US9164580B2 (en) * 2012-08-24 2015-10-20 Microsoft Technology Licensing, Llc Calibration of eye tracking system
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
US9979547B2 (en) * 2013-05-08 2018-05-22 Google Llc Password management
US9336781B2 (en) * 2013-10-17 2016-05-10 Sri International Content-aware speaker recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090140839A1 (en) 2001-07-10 2009-06-04 American Express Travel Related Services Company, Inc. Systems and methods for non-traditional payment using biometric data
US20130030966A1 (en) 2011-07-28 2013-01-31 American Express Travel Related Services Company, Inc. Systems and methods for generating and using a digital pass

Also Published As

Publication number Publication date
IL255325A0 (en) 2017-12-31
JP6863902B2 (ja) 2021-04-21
AU2016262579B2 (en) 2021-06-03
EP3295347A4 (en) 2018-05-02
JP2021121923A (ja) 2021-08-26
KR20180008632A (ko) 2018-01-24
CN107533600A (zh) 2018-01-02
JP7106706B2 (ja) 2022-07-26
WO2016183541A1 (en) 2016-11-17
EP3295347A1 (en) 2018-03-21
CA2984455A1 (en) 2016-11-17
CA2984455C (en) 2022-02-08
NZ736861A (en) 2021-06-25
JP2018526701A (ja) 2018-09-13
AU2016262579A1 (en) 2017-11-23
IL255325B (en) 2021-04-29

Similar Documents

Publication Publication Date Title
JP7106706B2 (ja) バイオメトリックデータを追跡するための拡張現実システムおよび方法
US20160358181A1 (en) Augmented reality systems and methods for tracking biometric data
US11216965B2 (en) Devices, methods and systems for biometric user recognition utilizing neural networks
KR102338407B1 (ko) 생체 인증 정보를 교환하도록 구성된 머리 장착 디스플레이 시스템
US9767524B2 (en) Interaction with virtual objects causing change of legal status
NZ736861B2 (en) Augmented reality systems and methods for tracking biometric data
US20230273985A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
NZ736574B2 (en) Methods for biometric user recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant