KR20180005231A - 뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들 - Google Patents

뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들 Download PDF

Info

Publication number
KR20180005231A
KR20180005231A KR1020177035543A KR20177035543A KR20180005231A KR 20180005231 A KR20180005231 A KR 20180005231A KR 1020177035543 A KR1020177035543 A KR 1020177035543A KR 20177035543 A KR20177035543 A KR 20177035543A KR 20180005231 A KR20180005231 A KR 20180005231A
Authority
KR
South Korea
Prior art keywords
user
data
identify
network
generating
Prior art date
Application number
KR1020177035543A
Other languages
English (en)
Other versions
KR102393228B1 (ko
Inventor
개리 알. 브래드스키
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20180005231A publication Critical patent/KR20180005231A/ko
Application granted granted Critical
Publication of KR102393228B1 publication Critical patent/KR102393228B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06K9/00617—
    • G06K9/4628—
    • G06K9/6272—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06K2009/00939—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Accounting & Taxation (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Collating Specific Patterns (AREA)

Abstract

사용자 인증 시스템은 이미지 데이터를 분석하고 이미지 데이터에 기반하여 형상 데이터를 생성하기 위한 이미지 인식 네트워크를 포함한다. 시스템은 또한 형상 데이터를 분석하고 형상 데이터에 기반하여 일반 카테고리 데이터를 생성하기 위한 범용(generalist) 네트워크를 포함한다. 시스템은 일반 카테고리 데이터를 특성과 비교하여 좁은 카테고리 데이터를 생성하기 위한 전문(specialist) 네트워크를 더 포함한다. 게다가, 시스템은 좁은 카테고리 데이터에 기반하여 분류 판정을 나타내기 위하여 복수의 노드들을 포함하는 분류기 계층을 포함한다.

Description

뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들
[0001] 물리적 세계로부터 연결된 전자("가상") 공간들로 중요한 활동들, 이를테면 금융 및 건강 관련 활동들의 이전은 인간 삶들을 개선하기 위한 잠재력을 가진다. 그러나, 중요한 활동들의 이전은 또한 아이덴티티 및 정보 도용을 통한 불법 행위에 대한 새로운 기회들을 제공한다.
[0002] 구체적으로 설명하면, 종래의 트랜잭션 시스템들(금융 또는 기타)은 통상적으로 사용자들이 일부 형태의 통화 토큰(token)(예컨대, 현금, 수표, 신용 카드 등)을 물리적으로 휴대하거나 정신적으로 기억하도록 요구하고 그리고 일부 경우들에서, 비지니스 트랜잭션들에 참가하기 위하여 신분증(예컨대, 운전 면허증 등) 및 인증(예컨대, 서명, 핀 코드 등)을 요구한다. 백화점에 가는 사용자를 고려하자: 임의의 종류의 구매를 위해, 사용자는 통상적으로 물품(들)을 집어들고, 물품을 카트에 넣고, 레지스터(register)로 걸어가고, 줄을 서서 계산원을 기다리고, 계산원이 다수의 물품들을 스캔하는 것을 기다리고, 신용 카드를 회수하고, 신분증을 제공하고, 신용 카드 영수증에 사인하고, 그리고 물품(들)의 미래 반환을 위해 영수증을 보관한다. 종래의 트랜잭션 시스템들에서, 비록 이들 단계들이 필요하지만, 이들 단계들은 시간-소비적이고 비효율적이다. 일부 경우들에서, 이들 단계들은 사용자가 구매하는 것을 막거나 방해한다(예컨대, 사용자는 통화 토큰을 자신의 몸에 지니거나 신분 증명서를 몸에 지니지 않음 등). 그러나, 증강 현실("AR") 디바이스들의 맥락에서, 이들 단계들은 쓸모없고 불필요하다. 하나 또는 그 초과의 실시예들에서, AR 디바이스들은, 사용자가 위에서 설명된 부담스러운 절차들을 수행하는 것을 요구함이 없이 아이덴티티들이 미리-식별되었거나 또는 미리-인증된 사용자들이 많은 타입들의 트랜잭션들(예컨대, 금융적 트랜잭션)을 원활하게 수행하는 것을 허용하도록 구성될 수 있다.
[0003] 따라서, 본원에 설명되고 청구된 생체 인증 데이터를 사용하여 사용자들을 인식하기 위한 디바이스들, 방법들 및 시스템들은 중요한 전자 트랜잭션들과 연관된 위험들을 완화하면서(예컨대, 보안) 이들 트랜잭션들을 가능하게 할 수 있다.
[0004] 사용자 식별 시스템에 관한 일 실시예에서, 시스템은 이미지 데이터를 분석하고 이미지 데이터에 기반하여 형상 데이터를 생성하기 위한 이미지 인식 네트워크를 포함한다. 시스템은 또한 형상 데이터를 분석하고 형상 데이터에 기반하여 일반 카테고리 데이터를 생성하기 위한 범용(generalist) 네트워크를 포함한다. 시스템은 일반 카테고리 데이터를 특성과 비교하여 좁은 카테고리 데이터를 생성하기 위한 전문(specialist) 네트워크를 더 포함한다. 게다가, 시스템은 좁은 카테고리 데이터에 기반하여 분류 판정을 나타내기 위하여 복수의 노드들을 포함하는 분류기 계층을 포함한다.
[0005] 하나 또는 그 초과의 실시예들에서, 시스템은 또한 복수의 계층들을 포함하는 역 전파 뉴럴(neural) 네트워크를 포함한다. 역 전파 뉴럴 네트워크는 또한 에러 억제 및 학습 상승을 포함할 수 있다.
[0006] 하나 또는 그 초과의 실시예들에서, 시스템은 또한 이미지 인식 네트워크로 인코딩된 ASIC를 포함한다. 전문 네트워크는 복수의 계층들을 포함하는 역 전파 네트워크를 포함할 수 있다. 시스템은 또한 사용자 눈 움직임들에 기반하여 일반 카테고리 데이터를 수정하기 위한 튜닝(tuning) 계층을 포함할 수 있다.
[0007] 시스템의 사용자를 식별하는 방법에 관한 다른 실시예에서, 방법은 이미지 데이터를 분석하는 단계 및 이미지 데이터에 기반하여 형상 데이터를 생성하는 단계를 포함한다. 방법은 또한 형상 데이터를 분석하는 단계 및 형상 데이터에 기반하여 일반 카테고리 데이터를 생성하는 단계를 포함한다. 방법은 일반 카테고리 데이터를 특성과 비교함으로써 좁은 카테고리 데이터를 생성하는 단계를 더 포함한다. 게다가, 방법은 좁은 카테고리 데이터에 기반하여 분류 판정을 생성하는 단계를 포함한다.
[0008] 하나 또는 그 초과의 실시예들에서, 방법은 또한 데이터의 피스(piece) 내 에러를 식별하는 단계를 포함한다. 방법은 또한, 에러가 식별된 데이터의 피스를 억제하는 단계를 포함할 수 있다. 이미지 데이터를 분석하는 단계는 이미지 데이터의 복수의 픽셀을 스캐닝하는 단계를 포함할 수 있다. 이미지 데이터는 사용자의 눈에 대응할 수 있다.
[0009] 하나 또는 그 초과의 실시예들에서, 특성은 알려진 잠재적으로 혼동되는 미스매칭된 개인으로부터 인한다. 특성은 눈썹 형상 및 눈 형상으로 이루어진 그룹으로부터 선택될 수 있다. 방법은 또한 특성들의 네트워크를 생성하는 단계를 포함할 수 있고, 여기서 네트워크의 각각의 개별 특성은 데이터베이스 내 잠재적으로 혼동되는 미스매칭된 개인과 연관된다. 특성들의 네트워크는, 시스템이 사용자를 위해 처음으로 교정될 때, 생성될 수 있다.
[0010] 하나 또는 그 초과의 실시예들에서, 방법은 또한 시간에 따른 사용자의 눈 움직임들을 추적하는 단계를 포함한다. 방법은 또한, 일반 카테고리 데이터를 한계와 비교하기 전에 사용자의 눈 움직임들에 기반하여 일반 카테고리 데이터를 수정하는 단계를 포함할 수 있다. 방법은 또한 사용자의 눈 움직임들로부터 발생하는 변동에 따르도록 일반 카테고리 데이터를 수정하는 단계를 포함할 수 있다.
[0011] 비-일시적 컴퓨터 판독가능 매체에 구현된 컴퓨터 프로그램 제품에 관한 또 다른 실시예에서, 컴퓨터 판독가능 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금 시스템의 사용자를 식별하기 위한 방법을 실행하게 하는 명령들의 시퀀스가 저장되어 있고, 방법은 이미지 데이터를 분석하는 단계 및 이미지 데이터에 기반하여 형상 데이터를 생성하는 단계를 포함한다. 방법은 또한 형상 데이터를 분석하는 단계 및 형상 데이터에 기반하여 일반 카테고리 데이터를 생성하는 단계를 포함한다. 방법은 일반 카테고리 데이터를 특성과 비교함으로써 좁은 카테고리 데이터를 생성하는 단계를 더 포함한다. 게다가, 방법은 좁은 카테고리 데이터에 기반하여 분류 판정을 생성하는 단계를 포함한다.
[0012] 도면들은 본 발명의 다양한 실시예들의 설계 및 효용성(utility)을 예시한다. 도면들이 실척으로 도시되지 않고 유사한 구조들 또는 기능들의 엘리먼트들이 도면들 전체에 걸쳐 유사한 참조 번호들에 의해 표현되는 것이 주목되어야 한다. 본 발명의 다양한 실시예들의 위의 나열된 및 다른 장점들 및 목적들을 획득하기 위한 방법을 더 잘 인지하기 위하여, 위에서 간단히 설명된 본 발명의 더 상세한 설명은 첨부 도면들에 예시된 본 발명의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들을 묘사하고 그러므로 본 발명의 범위를 제한하는 것으로 고려되지 않는다는 것을 이해하면서, 본 발명은 첨부 도면들의 사용을 통해 부가적인 특이성 및 세부사항들이 서술되고 설명될 것이다.
[0013] 도 1a 내지 도 1d 및 도 2a 내지 도 2d는 다양한 실시예들에 따른 증강 현실/사용자 식별 시스템들의 개략도들이다.
[0014] 도 3은 다른 실시예에 따른 증강 현실/사용자 식별 시스템의 상세 개략도이다.
[0015] 도 4는 또 다른 실시예에 따른 증강 현실/사용자 식별 시스템의 사용자 착용의 개략도이다.
[0016] 도 5는 일 실시예에 따른 홍채 템플릿(template)을 비롯하여, 사용자의 눈의 개략도이다.
[0017] 도 6은 다른 실시예에 따른 사용자 망막의 예시적인 이미지이다.
[0018] 도 7 및 도 8은 2개의 실시예들에 따른 뉴럴 네트워크들을 묘사하는 다이어그램들이다.
[0019] 도 9는 다른 실시예에 따른 특성 벡터(feature vector)를 묘사하는 다이어그램이다.
[0020] 도 10 및 도 11은 2개의 실시예들에 따른 사용자를 식별하기 위한 방법들을 묘사하는 흐름도들이다.
[0021] 본 발명의 다양한 실시예들은 단일 실시예 또는 다수의 실시예들에서 (예컨대, 증강 현실 시스템들과 함께 사용하기 위한) 생체 인증 사용자 식별 시스템을 구현하기 위한 방법들, 시스템들 및 제조 물건들에 관한 것이다. 본 발명의 다른 목적들, 특징들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에서 설명된다.
[0022] 다양한 실시예들은 이제 도면들을 참조하여 상세히 설명될 것이고, 도면들은 당업자들로 하여금 본 발명을 실시하게 하기 위하여 본 발명의 예시적 예들로서 제공된다. 특히, 아래의 도면들 및 예들은 본 발명의 범위를 제한하는 것으로 의미되지 않는다. 본 발명의 특정 엘리먼트들이 알려진 컴포넌트들(또는 방법들 또는 프로세스들)을 사용하여 부분적으로 또는 전체적으로 구현될 수 있는 경우, 본 발명의 이해에 필요한 그런 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 이들 부분들만이 설명될 것이고, 그런 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 다른 부분들의 상세한 설명들은 본 발명을 모호하게 하지 않기 위하여 생략될 것이다. 추가로, 다양한 실시예들은 예시에 의해 본원에 참조된 컴포넌트들과 현재 및 미래 알려지는 등가물들을 포함한다.
증강 현실 및 사용자 식별 시스템들
[0023] 증강 현실 디스플레이 시스템들의 다양한 실시예들이 알려졌다. 사용자 인식 디바이스는 AR 시스템들과 무관하게 구현될 수 있지만, 아래의 많은 실시예들은 단지 예시적 목적들을 위해서만 AR 시스템들에 관련하여 설명된다.
[0024] 다양한 컴퓨터 시스템들의 사용자들을 인식하기 위한 디바이스들, 방법들 및 시스템들이 개시된다. 일 실시예에서, 컴퓨터 시스템은 다양한 다른 컴퓨터 시스템들(예컨대, 금융 컴퓨터 시스템들)과의 사용자 상호작용을 가능하게 하도록 구성된 머리-장착 시스템일 수 있다. 다른 실시예들에서, 컴퓨터 시스템은 사용자 금융 트랜잭션들을 가능하게 하도록 구성된 고정식 디바이스(예컨대, 상인 단말 또는 ATM)일 수 있다. (예컨대, 머리-장착되는) AR 시스템을 활용한 사용자 금융 트랜잭션들의 맥락에서 사용자 인식에 대해 아래에 다양한 실시예들이 설명될 것이지만, 본원에 개시된 실시예들이 임의의 기존 및/또는 알려진 AR 또는 금융 트랜잭션 시스템들과 무관하게 사용될 수 있다는 것이 인지되어야 한다.
[0025] 예컨대, AR 시스템의 사용자가 AR 시스템을 사용하여 상업적 트랜잭션을 완료하려고 시도할 때(예컨대, 온라인 당좌 예금 계좌로부터의 자금들을 사용하여 온라인 소매업체부터 물품을 구매함), 시스템은, 상업적 트랜잭션으로 진행하기 전에 사용자의 아이덴티티를 먼저 설정하여야 한다. 이런 사용자 아이덴티티 결정을 위한 입력은 시간에 걸쳐 AR 시스템에 의해 생성된 사용자의 이미지들일 수 있다. 홍채 패턴이 사용자를 식별하기 위하여 사용될 수 있다. 그러나, 사용자 식별은 홍채 패턴들로 제한되지 않고, 사용자들의 다른 고유 속성들 또는 특성들을 포함할 수 있다.
[0026] 본원에 설명된 사용자 식별 디바이스들 및 시스템들은 사용자/착용자의 아이덴티티를 결정하기 위하여 사용자 속성들의 분석을 가능하게 하도록 하나 또는 그 초과의 역 전파 뉴럴 네트워크들을 활용한다. 기계 학습 방법들은 역 전파 뉴럴 네트워크들을 사용하여 식별 판정들(예컨대, 샘(Sam) 또는 샘이 아님)을 효과적으로 렌더링(render)할 수 있다. 본원에 설명된 뉴럴 네트워크들은 컴퓨팅/프로세싱 요건들(예컨대, 프로세서 사이클들 및 시간)을 최소화하면서 식별 판정들을 더 정확히(즉, "진실"에 더 가깝게) 그리고 정밀하게(즉, 더 반복가능하게) 렌더링하도록 부가적인 계층들을 포함한다.
[0027] 이제 도 1a-도 1d를 참조하면, 일부 일반적인 AR 시스템 컴포넌트 옵션들이 다양한 실시예들에 따라 예시된다. 비록 도 1a-도 1d의 실시예들이 머리-장착 디스플레이들을 예시하지만, 동일한 컴포넌트들이 또한 고정식 컴퓨터 시스템들에 통합될 수 있고, 그리고 도 1a-도 1d가 제한으로서 인식되지 않아야 한다는 것이 인지되어야 한다.
[0028] 도 1a에 도시된 바와 같이, 사용자(60)의 눈들의 전면에 포지셔닝된 디스플레이 시스템(62)에 커플링된 프레임(64) 구조를 착용한 머리-장착 디바이스 사용자(60)가 묘사된다. 프레임(64)은 요구된 보안 레벨에 따라 하나 또는 그 초과의 사용자 식별 특정 서브시스템들에 영구적으로 또는 일시적으로 커플링될 수 있다. 일부 실시예들은 구체적으로 사용자 식별 애플리케이션들을 위해 구축될 수 있고, 다른 실시예들은 사용자를 또한 식별할 수 있는 일반 AR 시스템들일 수 있다. 어느 경우에서나, 다음은 사용자 식별에 사용된 사용자 식별 시스템 또는 AR 시스템의 가능한 컴포넌트들을 설명한다.
[0029] 스피커(66)는 묘사된 구성에서 프레임(64)에 커플링되고 사용자(60)의 외이도에 인접하게 포지셔닝될 수 있다. 대안적인 실시예에서, 다른 스피커(도시되지 않음)는 스테레오/형상화가능 사운드 제어를 제공하기 위하여 사용자(60)의 다른 외이도에 인접하게 포지셔닝된다. 하나 또는 그 초과의 실시예들에서, 사용자 식별 디바이스는 이를테면 유선 리드(lead) 또는 무선 연결에 의해, 로컬 프로세싱 및 데이터 모듈(70)에 동작가능하게 커플링된 디스플레이(62)를 가질 수 있고, 로컬 프로세싱 및 데이터 모듈(70)은 프레임(64)에 고정되게 부착되거나, 도 1b에 묘사된 실시예에 도시된 바와 같이 헬멧 또는 모자(80)에 고정되게 부착되거나, 헤드폰들에 내장되거나, 도 1c의 실시예에 도시된 바와 같이 백팩(backpack)-스타일 구성으로 사용자(60)의 몸통(torso)(82)에 제거가능하게 부착되거나, 또는 도 1d의 실시예에 도시된 바와 같이 벨트-연결 스타일 구성으로 사용자(60)의 엉덩이(84)에 제거가능하게 부착되는 것과 같이 다양한 구성들로 장착될 수 있다.
[0030] 로컬 프로세싱 및 데이터 모듈(70)은 전력-효율적 프로세서 또는 제어기뿐 아니라, 디지털 메모리 이를테면 플래시 메모리를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 돕기 위해 활용될 수 있다. 데이터는 프레임(64)에 동작가능하게 커플링될 수 있는 센서들, 이를테면 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로스코프로부터 캡처될 수 있다. 대안적으로 또는 부가적으로, 데이터는 그런 프로세싱 또는 리트리벌(retrieval) 이후 가능한 경우 디스플레이(62)로의 전달을 위해 원격 프로세싱 모듈(72) 및/또는 원격 데이터 리포지토리(repository)(74)를 사용하여 포착되고 및/또는 프로세싱될 수 있다. 로컬 프로세싱 및 데이터 모듈(70)은 이를테면 유선 또는 무선 통신 링크들을 통하여 원격 프로세싱 모듈(72) 및 원격 데이터 리포지토리(74)에 동작가능하게 커플링(76, 78)될 수 있어서, 이들 원격 모듈들(72, 74)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(70)에 대한 리소스들로서 이용가능하다.
[0031] 일 실시예에서, 원격 프로세싱 모듈(72)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 리포지토리(74)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 비교적 큰 규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션은 로컬 프로세싱 및 데이터 모듈에서 수행되고, 이는 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.
[0032] 본 개시내용들에 더 관련하여, 도 1a-도 1d에 설명된 것들과 유사한 사용자 식별 디바이스들(또는 사용자 식별 애플리케이션들을 가지는 AR 시스템들)은 사용자의 눈들에 고유 액세스를 제공한다. 사용자가, 3-D 가상 콘텐츠를 인식하도록 허용하기 위하여 사용자 식별/AR 디바이스가 사용자의 눈과 결정적으로 상호작용하고, 그리고 많은 실시예들에서, 사용자의 눈들에 관련된 다양한 생체 인증들(예컨대, 홍채 패턴들, 눈 버전스(vergence), 눈 모션, 추상체(cone)들 및 간상체(rod)들의 패턴들, 눈 움직임들의 패턴들 등)을 추적하면, 결과적인 추적된 데이터는 사용자 식별 애플리케이션들에 유리하게 사용될 수 있다. 따라서, 사용자의 눈들에 대한 이런 전례없는 액세스는 그 자체가 자연스럽게 다양한 사용자 식별 애플리케이션들에 도움을 제공한다.
[0033] 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은 사용자-착용 사용자 식별 디바이스 또는 시스템으로서 사용될 수 있다. 그런 사용자 식별 디바이스들 및 시스템들은 사용자의 눈의 이미지들을 캡처하고 사용자 식별을 위한 데이터를 획득하기 위하여 사용자의 눈 움직임들을 추적한다. 종래에, 사용자 식별 디바이스들은 사용자가 고정되어 있도록 요구하는데, 그 이유는 사용자에게 일시적으로 부착되는 디바이스들이 고정식이기 때문이다. 통상적으로, 디바이스가 데이터 포착을 완료할 때까지, 사용은 사용자 식별 기구 또는 디바이스(예컨대, 머리 앞으로 사용자 식별 디바이스의 얼굴 받침 컴포넌트 상의 얼굴, 및/또는 지문 판독 디바이스 내의 손가락 등)에 국한된다. 따라서, 현재 사용자 식별 접근법들은 다수의 한계들을 가진다.
[0034] 사용자 식별 데이터 포착 동안 사용자 움직임을 제한하는 것 외에, 종래의 접근법들은 이미지 캡처 에러들을 유발할 수 있고, 이는 사용자 식별 에러들을 유도한다. 게다가, 종래의 이미지(예컨대, 홍채 또는 지문) 분석 알고리즘들은 사용자 식별 에러들을 유발할 수 있다. 예컨대, 대부분의 기존 이미지 분석 알고리즘들은 컴퓨터 시스템 요건들로 사용자 식별 정확도 및 정밀도를 밸런싱하도록 설계 및/또는 교정된다. 그러므로, 제3 자가 사용자와 충분한 양의 사용자 특성들을 공유할 때, 기존 이미지 분석 알고리즘은 제3 자를 사용자로서 잘못 식별할 수 있다.
[0035] 하나 또는 그 초과의 실시예들에서, 도 1a-도 1d에 도시된 것들과 유사한 사용자 식별 디바이스를 포함하는 머리-착용 AR 시스템은 AR 시스템의 보안 피처(feature)들에 대한 액세스를 제공하기 전에 사용자를 처음에 그리고 연속으로 식별하기 위하여 사용될 수 있다(아래에 설명됨). 하나 또는 그 초과의 실시예들에서, AR 디스플레이 시스템은 머리-착용 사용자 식별 디바이스로서 사용될 수 있다. 아래에 설명되는 다수의 실시예들이 머리-장착 시스템들로 구현될 수 있지만, 다른 실시예들이 고정식 디바이스들로 구현될 수 있다는 것이 인지되어야 한다. 예시 목적들을 위하여, 본 개시내용은 주로 머리-착용 사용자 식별 디바이스들 및 특히 AR 디바이스들에 집중할 것이지만, 동일한 원리들이 또한 머리-비착용 및 비-AR 실시예들에 적용될 수 있다는 것이 인지되어야 한다.
[0036] 하나 또는 그 초과의 실시예들에서, AR 디스플레이 디바이스는 사용자-착용 사용자 식별 디바이스로서 사용될 수 있다. 사용자-착용 사용자 식별 디바이스는 통상적으로 특정 사용자의 머리에 맞추어지고, 광학 컴포넌트들은 사용자의 눈들에 정렬된다. 이들 구성 단계들은, 임의의 생리적인 부작용들, 이를테면 두통, 메스꺼움, 불편함 등을 유발함이 없이 사용자에게 최적의 증강 현실 경험을 제공하는 것을 보장하기 위하여 사용될 수 있다. 따라서, 하나 또는 그 초과의 실시예들에서, 사용자-착용 사용자 식별 디바이스는 각각의 개인 사용자를 위해 (물리적 그리고 디지털적 둘 모두로) 구성되고, 프로그램들의 세트는 구체적으로 사용자를 위해 교정될 수 있다. 다른 시나리오들에서, 느슨한 맞춤 AR 디바이스는 다양한 사용자들에 의해 편안하게 사용될 수 있다. 예컨대, 일부 실시예들에서, 사용자 착용 사용자 식별 디바이스는 사용자의 눈들 사이의 거리, 머리 장착 디스플레이와 사용자의 눈들 사이의 거리, 및 사용자의 이마의 곡률을 안다. 이들 모든 측정들은 주어진 사용자에게 맞추어지도록 맞춤화된 머리-장착 디스플레이 시스템을 제공하기 위하여 사용될 수 있다. 다른 실시예들에서, 그런 측정들은 사용자 식별 기능들을 수행하기 위하여 반드시 필요하지 않을 수 있다.
[0037] 예컨대, 도 2a-도 2d를 참조하면, 사용자 식별 디바이스는 각각의 사용자에게 맞춤화될 수 있다. 사용자의 머리 형상(402)은 도 2a에 도시된 바와 같이, 하나 또는 그 초과의 실시예들에서, 머리-장착 사용자-착용 사용자 식별 시스템을 맞출 때 고려될 수 있다. 유사하게, 눈 컴포넌트들(404)(예컨대, 광학기구, 광학기구에 대한 구조 등)은 도 2b에 도시된 바와 같이, 수평 및 수직 둘 모두로 사용자의 편안함을 위해 회전되거나 조정될 수 있거나, 사용자의 편안함을 위해 회전될 수 있다. 도 2c에 도시된 바와 같은, 하나 또는 그 초과의 실시예들에서, 사용자의 머리에 대한 머리 세트의 회전 포인트는 사용자의 머리 구조에 기반하여 조정될 수 있다. 유사하게, IPD(inter-pupillary distance)(즉, 사용자의 눈들 사이의 거리)는 도 2d에 도시된 바와 같이 보상될 수 있다.
[0038] 유리하게, 사용자-착용 사용자 식별 디바이스들의 맥락에서, 각각의 사용자를 위해 머리-장착 디바이스들의 맞춤화는 유리한데, 그 이유는 맞춤화된 시스템은 이미 사용자의 신체적 특징들(예컨대, 눈 사이즈, 머리 사이즈, 눈들 사이의 거리 등)에 관한 측정 세트, 및 사용자 식별에 사용될 수 있는 다른 데이터에 대한 액세스를 갖기 때문이다.
[0039] 사용자에 대해 수행된 다양한 측정들 및 교정들 외에, 사용자-착용 사용자 식별 디바이스는 사용자에 관한 생체 인증 데이터의 세트를 추적하도록 구성될 수 있다. 예컨대, 시스템은 눈 움직임들, 눈 움직임 패턴들, 눈 깜박임 패턴들, 눈 버전스, 피로 파라미터들, 눈 색깔의 변화들, 초점 거리의 변화들, 및 사용자에게 광학 증강 현실 경험을 제공하는데 사용될 수 있는 많은 다른 파라미터들을 추적할 수 있다. 사용자 식별 애플리케이션에 사용되는 AR 디바이스들의 경우에, 위에서-언급된 실시예들 중 일부가 일반적으로-이용가능한 AR 디바이스들의 부분일 수 있고, 다른 피처들(본원에 설명됨)이 특정 사용자 식별 애플리케이션들을 위해 통합될 수 있다는 것이 인지되어야 한다.
[0040] 이제 도 3을 참조하면, 예시적인 사용자-착용 사용자 식별 디스플레이 디바이스의 다양한 컴포넌트들이 설명될 것이다. 시스템이 사용되는 애플리케이션(예컨대, 특정 사용자 식별 절차)에 따라 다른 실시예들이 부가적인 컴포넌트들을 가질 수 있다는 것이 인지되어야 한다. 그럼에도 불구하고, 도 3은 다양한 컴포넌트들의 기본적인 아이디어, 및 사용자-착용 사용자 식별 디바이스 또는 AR 디바이스를 통하여 수집되고 저장될 수 있는 생체 인증 데이터의 타입들을 제공한다. 도 3은 예시적인 목적들을 위하여 우측에 블록 다이어그램으로 머리-장착 사용자 식별 디바이스(62)의 단순화된 버전을 도시한다.
[0041] 도 3을 참조하면, 하우징 또는 프레임(108)에 의해 사용자의 머리 또는 눈들에 장착될 수 있는 디스플레이 렌즈(106)를 포함하는 적절한 사용자 디스플레이 디바이스(62)의 일 실시예가 도시된다. 사용자 디스플레이 디바이스(62)는 이의 착용자/사용자를 식별하는 것을 비롯하여, 다양한 기능들을 수행하도록 구성된 AR 시스템이다. 디스플레이 렌즈(106)는 사용자의 눈들(20)의 전면에 하우징(84)에 의해 포지셔닝되고 그리고 투사된 광(38)을 눈들(20)로 바운스(bounce)하고 빔 성형을 가능하게 하면서, 또한 로컬 환경으로부터의 적어도 일부 광의 투과를 허용하도록 구성된 하나 또는 그 초과의 투과성 미러들을 포함할 수 있다. 묘사된 실시예에서, 2개의 광시야각 머신 비전(vision) 카메라들(16)은 사용자 주위 환경을 이미징하기 위하여 하우징(108)에 커플링되고; 일 실시예에서 이들 카메라들(16)은 이중 캡처 가시광/적외선 광 카메라들이다.
[0042] 묘사된 실시예는 또한 도시된 바와 같이 광(38)을 눈들(20)로 투사하도록 구성된 디스플레이 미러들 및 광학기구를 가지는 한 쌍의 스캐닝-레이저 형상-파면(즉, 심도를 위한) 광 투사기 모듈들(18)을 포함한다. 묘사된 실시예는 또한 렌더링 및 사용자 입력을 지원하기 위하여 사용자의 눈들(20)을 추적하도록 구성된, 적외선 광원들(26)(이를테면 발광 다이오드들 또는 "LED"들)과 쌍을 이루는 2개의 소형 적외선 카메라들(24)을 포함한다. 이들 적외선 카메라들(24)은 또한 사용자 식별에 활용될 수 있는 사용자의 눈들, 특히 사용자의 눈들의 홍채의 이미지들을 연속으로 및 동적으로 캡처하도록 구성된다.
[0043] 시스템(62)은 추가로 X, Y 및 Z 축 가속도계 성능뿐 아니라 자기 컴파스 및 X, Y 및 Z 축 자이로 성능을 포함할 수 있고, 바람직하게 비교적 고주파수, 이를테면 200 Hz에서 데이터를 제공하는 센서 어셈블리(39)를 특징으로 한다. 예시적인 센서 어셈블리(39)는 "IMU"(inertial measurement unit)이다. 묘사된 시스템(62)은 또한 캡처 디바이스들(16)로부터 출력된 광시야각 이미지 정보로부터 실시간 또는 거의-실시간 사용자 머리 포즈를 계산하도록 구성될 수 있는 머리 포즈 프로세서(36)("이미지 포즈 프로세서"), 이를테면 ASIC(application specific integrated circuit), FPGA(field programmable gate array), 및/또는 ARM(advanced reduced-instruction-set machine) 프로세서를 포함한다.
[0044] 또한, 센서 어셈블리(39)로부터의 자이로, 컴파스, 및/또는 가속도계 데이터로부터 포즈를 유도하기 위하여 디지털 및/또는 아날로그 프로세싱을 실행하도록 구성된 다른 프로세서(32)("센서 포즈 프로세서")가 도시된다. 묘사된 실시예는 또한 포즈 및 포지셔닝을 돕기 위한 GPS(global positioning system) 서브시스템(37)을 특징으로 한다. 게다가, GPS는 추가로, 사용자의 위치에 관한 클라우드-기반 정보를 제공할 수 있다. 이 정보는 사용자 식별 목적들을 위해 사용될 수 있다. 예컨대, 사용자 식별 알고리즘이 검출된 사용자 특성들을 2개의 잠재적인 사용자 아이덴티티들로 좁힐 수 있으면, 사용자의 현재 및 이력 위치 데이터는 잠재적인 사용자 아이덴티티들 중 하나를 제거하기 위하여 사용될 수 있다.
[0045] 마지막으로, 묘사된 실시예는 렌더링 엔진(34)을 포함하고, 렌더링 엔진(34)은 세계의 사용자 뷰(view)를 위해, 스캐너들의 동작 및 사용자의 눈들로의 이미징을 가능하게 하기 위하여 사용자에게 로컬 렌더링 정보를 제공하도록 구성된 소프트웨어 프로그램을 실행하는 하드웨어를 특징으로 할 수 있다. 렌더링 엔진(34)은 이미지 포즈 프로세서(36), 눈 추적 카메라들(24), 투사 서브시스템(18), 및 센서 포즈 프로세서(32)에 동작가능하게 (즉, 유선 또는 무선 연결을 통해) 커플링(94, 100, 102, 104, 105)되어, 렌더링된 광이 망막 스캐닝 디스플레이와 유사한 방식으로 스캐닝 레이저 어레인지먼트(18)를 사용하여 투사된다. 투사된 광 빔(38)의 파면은 투사된 광의 원하는 초점 거리와 일치하도록 굴곡되거나 포커싱될 수 있다.
[0046] 소형 적외선 눈 추적 카메라들(24)은 렌더링 및 사용자 입력(예컨대, 사용자가 보고 있는 장소, 사용자가 어떤 심도를 포커싱하는지 등)을 지원하기 위하여 눈들을 추적하기 위해 활용될 수 있다. 아래에 논의된 바와 같이, 눈 버지(verge)는 사용자의 포커스 심도를 추정하기 위하여 활용될 수 있다. GPS(37), 및 센서 어셈블리(39) 내의 자이로스코프, 컴파스들 및 가속도계들은 대략적 및/또는 빠른 포즈 추정들을 제공하기 위하여 활용될 수 있다. 연관된 클라우드 컴퓨팅 리소스로부터의 데이터와 함께, 카메라(16) 이미지들 및 센서 포즈 정보가 로컬 세계를 맵핑하고 사용자 뷰들을 가상 또는 증강 현실 공동체(community) 및/또는 사용자 식별 시스템과 공유하기 위하여 활용될 수 있다.
[0047] 도 3에서 특징으로 하는 디스플레이 시스템(62) 내의 하드웨어 대부분이 디스플레이(106) 및 사용자 눈들(20)에 인접한 하우징(108)에 직접 커플링되는 것으로 묘사되지만, 묘사된 하드웨어 컴포넌트들은 예컨대 도 1d에 도시된 바와 같이 다른 컴포넌트들, 이를테면 벨트-장착 컴포넌트에 장착되거나 그 내부에 하우징될 수 있다.
[0048] 일 실시예에서, 도 3에서 특징으로 하는 시스템(62)의 컴포넌트들 모두는 이미지 포즈 프로세서(36), 센서 포즈 프로세서(32), 및 렌더링 엔진(34)을 제외하고 디스플레이 하우징(108)에 직접 커플링되고, 그리고 이 이미지 포즈 프로세서(36), 센서 포즈 프로세서(32), 및 렌더링 엔진(34)과 시스템(62)의 나머지 컴포넌트들 간의 통신은 무선 통신, 이를테면 초-광대역, 또는 유선 통신에 의해 이루어질 수 있다. 묘사된 하우징(108)은 바람직하게 사용자에 의해 머리-장착되고 착용가능하다. 이 묘사된 하우징(108)은 또한 사용자의 귀들로 삽입되고 사용자에게 사운드를 제공하기 위하여 활용될 수 있는 것들 같은 스피커들을 특징으로 할 수 있다.
[0049] 사용자의 눈들(20)로의 광(38)의 투사에 대해, 일 실시예에서, 소형 카메라들(24)은, 일반적으로 눈들(20)의 포커스, 또는 "포커스 심도"의 포지션과 일치하는, 사용자의 눈들(20)의 중심들이 기하학적으로 버징(verged)되는 공간의 포인트를 결정하기 위하여 활용될 수 있다. 투사된 이미지들의 초점 거리는 유한 수의 심도들을 취할 수 있거나, 사용자에 의한 뷰잉을 위해 3-D 이미지들의 투사를 가능하게 하기 위해 무한히 가변할 수 있다. 소형 카메라들(24)은 눈 추적을 위해 활용될 수 있고, 그리고 소프트웨어는 버전스 기하구조뿐 아니라 사용자 입력들로서 역할을 하는 포커스 위치 단서들을 픽업(pick up)하도록 구성될 수 있다.
[0050] AR/사용자 식별 시스템의 일반적 컴포넌트들을 설명하였기 때문에, 사용자 식별과 관련된 부가적인 컴포넌트들 및/또는 특징들은 아래에 논의될 것이다. 아래에 설명되는 특징들 중 일부가 사용자 식별 목적들을 위하여 사용되는 사용자 식별 디바이스들 또는 대부분의 AR 시스템들에 일반적이지만, 다른 것들은 사용자 식별 목적들을 위해 부가적인 컴포넌트들을 요구할 것이라는 것이 인지되어야 한다.
사용자 식별
[0051] 본 증강 현실 시스템들은 사용자를 식별하고, 인증하고, 로컬라이징하고 그리고 심지어 시선을 결정하는데 매우 적절하기 때문에, 다양한 타입들의 중요한 트랜잭션들, 금융 및 그 외의 것에 대해 사용자들을 돕는데 이상적으로 적합하다.
[0052] 눈-추적/눈-이미징으로부터 사용자 식별
[0053] 본 AR 시스템(62)은 일반적으로, 사용자의 눈들이 응시하는(또는 "보고 있는") 장소 및 사용자의 눈들이 포커싱된 장소를 아는 것을 필요로 한다. 따라서, 다양한 실시예들에서, "HMD"(head mounted display) 컴포넌트는 사용자의 눈들(20)에 관한 이미지 정보를 캡처하기 위하여 배향되는 하나 또는 그 초과의 카메라들(24)을 특징으로 한다. 도 4에 묘사된 실시예에서, 사용자의 각각의 눈(20)은, 눈들의 표면들 상에 글린트(glint)들을 유도하기 위하여, 카메라(24)에 대해 알려진 오프셋 거리들에 있는 3 또는 그 초과의 LED들(도시되지 않음)과 함께, 눈에 포커싱되는 카메라(24)를 가질 수 있다. 일 실시예에서, LED들은 눈들(20) 바로 아래에 있다.
[0054] 각각의 카메라(24)에 대해 알려진 오프셋들을 가지는 3 또는 그 초과의 LED들의 존재는, 삼각측량에 의해 카메라(24)로부터 3-D 공간의 각각의 글린트 포인트까지의 거리의 결정을 가능하게 한다. 적어도 3개의 글린트 포인트들 및 눈(20)의 대략 구체인 모델을 사용하여, 시스템(62)은 눈(20)의 곡률을 추론할 수 있다. 눈(20)에 대해 알려진 3-D 오프셋 및 배향을 이용하여, 시스템(62)은 사용자를 식별하는데 사용하기 위한 홍채 또는 망막의 정확한(예컨대, 이미지들) 또는 추상적(예컨대, 기울기들 또는 다른 피처들) 템플릿들을 형성할 수 있다. 다른 실시예들에서, 눈(20)의 다른 특성들, 이를테면 눈(20) 내 및 눈(20) 위의 정맥들의 패턴은 또한 사용자를 식별하기 위하여 (예컨대, 홍채 또는 망막 템플릿들과 함께) 사용될 수 있다.
[0055] a. 홍채 이미지 식별. 일 실시예에서, 주근깨, 주름 및 링(ring)들을 비롯하여, 눈(20)의 홍채 내 근육 섬유들의 패턴은 각각의 사람에 대한 안정되고 고유한 패턴을 형성한다. 다양한 홍채 피처들은 가시광 이미징과 비교할 때 적외선 또는 근-적외선 이미징을 사용하여 더 쉽게 캡처될 수 있다. 시스템(62)은 많은 상이한 방식들로 캡처된 홍채 피처들을 식별 코드(68)로 변환할 수 있다. 목표는 눈(20)으로부터 충분히 풍성한 텍스처(texture)를 추출하는 것이다. 수집된 데이터의 충분한 자유도들로 인해, 시스템(62)은 이론적으로 7억 명의 살아있는 사람들 사이에서 고유 사용자를 식별할 수 있다. 시스템(62)이 아래로부터 또는 측면으로부터 사용자의 눈들(20)로 지향되는 카메라들(24)을 포함하기 때문에, 시스템 코드(68)는 회전 불변일 필요가 없을 것이다. 도 5는 참조를 위해 홍채로부터의 예시적인 코드(68)를 도시한다.
[0056] 예컨대, 3-D 심도 정보를 제공하기 위하여 캡처 이미지들 및 몇몇 LED들을 가지는, 사용자 눈(20) 아래의 시스템 카메라(26)를 사용하여, 시스템(62)은 동공 직경 및 동공의 3-D 포지션에 대해 정규화된 템플릿 코드(68)를 형성한다. 시스템(62)은, 사용자가 디바이스(62)에 등록하고 있는 동안 몇몇 상이한 뷰들로부터 시간에 걸쳐 일련의 템플릿 코드들(68)을 캡처할 수 있다. 이런 일련의 템플릿 코드들(68)은 분석을 위해 단일 템플릿 코드(68)를 형성하도록 결합될 수 있다.
[0057] b. 망막 이미지 식별. 다른 실시예에서, HMD는 조종가능 광섬유 케이블에 의해 조종되는 레이저 스캐너에 의해 구동되는 회절 디스플레이를 포함한다. 이 케이블은 또한 눈의 내부를 시각화하고 그리고 시각적 수용체들(간상체들 및 추상체들) 및 혈관들의 고유 패턴을 가지는 망막을 이미징하기 위하여 활용될 수 있다. 이들은 또한 각각의 개인에게 고유한 패턴을 형성하고, 그리고 각각의 사람을 고유하게 식별하기 위해 사용될 수 있다.
[0058] 도 6은 많은 종래의 방법들에 의해 패턴으로 변환될 수 있는 망막의 이미지를 예시한다. 예컨대, 다크(dark) 및 라이트(light) 혈관들의 패턴은 고유하고 그리고 망막 이미지에 기울기 연산자(gradient operator)들을 적용하고 망막의 중심에 중심을 둔 표준화된 그리드에서 높은 높고 낮은 트랜지션(transition)들을 카운팅하는 것과 같은 표준 기법들에 의해 "다크-라이트" 코드로 변환될 수 있다.
[0059] 따라서, 본 시스템들(62)은 시스템(62)에 의해 캡처되거나 검출된 사용자 특성들을 시스템(62)의 허가된 사용자에 대한 알려진 베이스라인(baseline) 사용자 특성들과 비교함으로써 향상된 정확도 및 정밀도로 사용자를 식별하는데 활용될 수 있다. 이들 사용자 특성들은 위에서 설명된 바와 같이 홍채 및 망막 이미지들을 포함할 수 있다.
[0060] 사용자 특성들은, 상이한 사람들의 눈들이 유사하지만, 정확히 동일하지는 않은 곡률 및/또는 사이즈를 가지기 때문에, 사용자를 식별하는데 도움을 주는 눈(20)의 곡률/사이즈를 또한 포함할 수 있다. 눈 곡률 및/또는 사이즈를 활용하는 것은 또한 홍채 및 망막 이미지들을 평면 복제물들로 위조하는 것을 방지한다. 위에 설명된 일 실시예에서, 사용자의 눈(20)의 곡률은 이미지화된 글린트들로부터 계산될 수 있다.
[0061] 사용자 특성들은 시간적인 정보를 더 포함할 수 있다. 시간적인 정보는, 사용자가 스트레스(예컨대, 사용자의 아이덴티티가 의심받고 있다는 어나운스먼트(announcement))를 겪는 동안 수집될 수 있다. 시간적인 정보는, 심박수, 사용자의 눈들이 수막을 형성하는지 여부, 눈들이 함께 버지 및 포커싱하는지 여부, 호흡 패턴들, 눈깜박임수, 맥박수 등을 포함한다.
[0062] 게다가, 사용자 특성들은 상관 정보를 포함할 수 있다. 예컨대, 시스템(62)은 환경의 이미지들을 예상된 눈 움직임 패턴들과 상관시킬 수 있다. 시스템(62)은 또한, GPS로부터 유도된 위치, Wi-Fi 신호들 및/또는 환경의 맵들에 상관하는 동일한 예상된 장면을 사용자가 보고 있는지를 결정할 수 있다. 예컨대, (GPS 및 Wi-Fi 신호들로부터) 사용자가 아마도 집에 있다면, 시스템은 집 내부의 예상되는 올바른 포즈 장면들을 검출하여야 한다.
[0063] 게다가, 사용자 특성들은 (알려진 베이스라인 특성들과 비교함으로써) 사용자를 식별하기 위하여 사용될 수 있는 초분광 영상(hyperspectral) 및/또는 피부/근육 컨덕턴스를 포함할 수 있다. 초분광 영상 및/또는 피부/근육 컨덕턴스는 또한, 사용자가 살아있는 사람인 것을 결정하기 위해 사용될 수 있다.
[0064] 사용자 특성들은 또한 눈 움직임 패턴들을 포함할 수 있는데, 그 이유는 본 증강 현실 시스템 구성들이 지속적으로 착용되도록 설계되기 때문이다. 눈 움직임 패턴들은 사용자를 식별하기 위해(또는 식별하는 것을 돕기 위해) 알려진 베이스라인 특성들과 비교될 수 있다.
[0065] 다른 실시예들에서, 시스템은 사용자를 식별하기 위하여 복수의 눈 특성들(예컨대, 홍채 및 망막 패턴들, 눈 형상, 눈썹 형상, 속눈썹 패턴, 눈 사이즈 및 곡률 등)을 사용할 수 있다. 복수의 특성들을 사용함으로써, 그런 실시예들은, 단지 단일 눈 특성(예컨대, 홍채 패턴)만을 사용하여 사용자들을 식별하는 시스템들과 비교할 때 더 낮은 해상도 이미지들로부터 사용자들을 식별할 수 있다.
[0066] 사용자 식별 시스템(예컨대, 본원에서 설명된 심층(deep) 생체 인증 식별 뉴럴 네트워크들)에 대한 입력은 눈의 이미지(또는 사용자의 다른 부분), 또는 시간에 걸쳐 획득된 눈의 복수의 이미지들(예컨대, 비디오)일 수 있다. 일부 실시예들에서, 네트워크는 단일 이미지와 비교할 때 동일한 눈의 복수의 이미지들로부터 더 많은 정보를 획득한다. 일부 실시예들에서, 복수의 이미지들의 일부 또는 모두는, 당업자들에게 잘 알려진 바와 같이 시간에 걸쳐 다수의 이미지들의 표준화된 합성(compositing)을 사용하여 이미지들의 유효 해상도를 증가시키기 위하여 분석 전에 사전-프로세싱된다.
[0067] AR/사용자 식별 시스템은 또한 사용자를 주기적으로 식별하고 및/또는 시스템이 사용자의 머리로부터 제거되지 않았다는 것을 확인하기 위하여 사용될 수 있다.
[0068] 위에서-설명된 AR/사용자 식별 시스템은 극히 안전한 형태의 사용자 식별을 제공한다. 다른 말로, 시스템은, 비교적 높은 정확도 및 정밀도로 사용자가 누군인지를 결정하기 위하여 활용될 수 있다. 시스템은 대단히 확실하게 그리고 (주기적인 모니터링을 사용하여) 지속적으로 사용자가 누구인지를 알기 위해 활용될 수 있기 때문에, 시스템은 별도의 로그인들에 대한 필요 없이 다양한 안전한 금융 트랜잭션들을 가능하게 하도록 활용될 수 있다.
[0069] 다양한 컴퓨팅 패러다임들이 캡처되거나 검출된 사용자 특성들을 허가된 사용자에 대한 알려진 베이스라인 사용자 특성들과 비교하기 위하여 활용되어, 컴퓨팅/프로세싱 요건들을 최소화하면서 정확하고 정밀하게 사용자를 효과적으로 식별할 수 있다.
뉴럴 네트워크들
[0070] 도 7은 일 실시예에 따른 역 전파 뉴럴 네트워크(200)를 예시한다. 네트워크(200)는 다른 노드(202)에 대한 입력을 형성하는 하나의 노드(202)의 출력을 나타내는 복수의 연결기들(204)에 의해 연결된 복수의 노드들(202)을 포함한다. 네트워크(200)가 역 전파 뉴럴 네트워크이기 때문에, 각각의 노드(202)가 그 노드(202) 위 및 아래의 계층들의 노드들(202)에 입력을 제공할 수 있다는 점에서, 연결기들(204)은 양방향성이다.
[0071] 네트워크(200)는 제1 계층(206a)에서 시작하고 제6("분류기") 계층(206f)을 통해 지나가는("제6 계층(206f)까지 상승하는") 6개의 층들을 포함한다. 네트워크(200)는 검출된 사용자 특성들에 기반하여 분류(예컨대, 샘/샘이 아님) 판정을 유도하도록 구성된다. 일부 실시예들에서, 분류 판정은 불(Boolean) 판정이다. 제1 계층(206a)은 캡처된 이미지(212)(예컨대, 사용자의 눈 및 특히 사용자의 홍채 이미지)의 픽셀들을 스캔하도록 구성된다. 제1 계층(206a)으로부터의 정보는 그 내부의 노드들(202)에 의해 프로세싱되고 제2 계층(206b)의 노드들(202)로 전달된다.
[0072] 제2 계층(206b)의 노드들(202)은 에러 체킹을 비롯하여, 제1 계층(206a)으로부터의 정보를 프로세싱한다. 제2 계층(206b)이 제1 계층(206a)으로부터의 정보에서 에러들을 검출하면, 에러 정보는 제2 계층(206b)에서 억제된다. 제2 계층(206b)이 제1 계층(206a)으로부터의 정보를 확인하면, 확인된 정보는 상승/강화된다(예컨대, 다음 계층을 위해 더 높게 가중됨). 이런 에러 억제/정보 상승 프로세스는 제2 계층(206b)과 제3 계층(206c) 사이에서 반복된다. 처음 3개의 계층들(206a, 206b, 206c)은 세계에서 발견된 기본 형상들(예컨대, 삼각형, 에지, 평면 등)을 인식/식별하도록 구성된 이미지 프로세싱 서브네트워크(208)를 형성한다. 일부 실시예들에서, 이미지 프로세싱 서브네트워크(208)는 "ASIC"(application-specific integrated circuit)에 버닝(burn)될 수 있는 고정된 코드이다.
[0073] 네트워크(200)는 또한 처음 3개의 계층들(206a, 206b, 206c)로부터 그리고 서로로부터 정보를 수신하도록 구성된 제4 및 제5 계층들(206d, 206e)을 포함한다. 제4 및 제5 계층들(206d, 206e)은 세계의 객체들(예컨대, 꽃, 얼굴, 사과 등)을 식별하도록 구성된 범용 서브네트워크(210)를 형성한다. 이미지 프로세싱 서브네트워크(208)에 대해 위에서 설명된 에러 억제/정보 상승 프로세스는 범용 서브네트워크(210) 내에서 그리고 이미지 프로세싱 서브네트워크(208)와 범용 서브네트워크(210) 사이에서 반복된다.
[0074] 이미지 프로세싱 서브네트워크(208)와 범용 서브네트워크(210)는 함께, 캡처된 사용자 이미지들(212)의 픽셀들을 스캔하고 분류기 계층(206f)에서 분류 판정을 출력하도록 구성된, 에러 억제/학습 상승 및 역 전파를 갖는 비선형, 로지스틱(logistic) 회귀 네트워크를 형성한다. 분류기 계층(206f)은 2개의 노드들: (1) 포지티브/식별 노드(202a)(예컨대, 샘); 및 (2) 네거티브/비식별 노드(202b)(예컨대, 샘이 아님)를 포함한다.
[0075] 도 8은 다른 실시예에 따른 뉴럴 네트워크(200)를 묘사한다. 도 8에 묘사된 뉴럴 네트워크(200)는, 범용 서브네트워크(210)와 분류기 계층(206f) 간에 2개의 부가적인 계층들이 부가되는 것을 제외하고, 도 7에 묘사된 것과 유사하다. 도 8에 묘사된 네트워크(200)에서, 제5 계층(206e)으로부터의 정보는 제6("튜닝") 계층(206g)으로 전달된다. 튜닝 계층(206g)은 사용자의 독특한 눈 움직임들에 의해 유발된 변동을 고려하기 위하여 이미지(212) 데이터를 수정하도록 구성된다. 튜닝 계층(206g)은 시간에 걸쳐 사용자의 눈 움직임을 추적하고 이들 움직임들에 의해 유발된 아티팩트(artifact)들을 제거하기 위해 이미지(212) 데이터를 수정한다.
[0076] 도 8은 또한 튜닝 계층(206g)과 분류기 계층(206f) 사이에 배치된 제7("전문") 계층(206h)을 묘사한다. 전문 계층(206h)은 몇몇 계층들을 포함하는 작은 역 전파 전문 네트워크일 수 있다. 전문 계층(206h)은 이미지들의 데이터베이스(예컨대, 클라우드 상에 위치됨)로부터의 다른 유사한 이미지들로부터 유도된 데이터와 사용자의 이미지(212) 데이터를 비교하도록 구성된다. 전문 계층(206h)은, 추가로 이미지 인식 및 범용 네트워크들(208, 210) 및, 튜닝 계층(206g)이 사용자로부터의 이미지(212) 데이터와 혼동할 수 있는 모든 알려진 이미지들을 식별하도록 구성된다. 예컨대 홍채 인식의 경우에, 세계 7억 명의 사람들 중에서 임의의 특정 사용자의 홍채와 혼동될 수 있는 20,000개의 홍채들이 있을 수 있다.
[0077] 전문 계층(206h)은 개별 잠재적으로 혼동되는 이미지와 사용자 이미지(212) 데이터를 구별하도록 구성된, 각각 잠재적으로 혼동되는 이미지에 대한 노드(202)를 포함한다. 예컨대, 전문 계층(206h)은 톰(Tom)의 홍채와 샘의 홍채를 구별하도록 구성된 노드(202c), 및 애니(Anne)의 홍채와 샘의 홍채를 구별하도록 구성된 노드(202d)를 포함할 수 있다. 전문 계층(206h)은 다른 특성들, 이를테면 눈썹 형상 및 눈 형상을 활용하여, 잠재적으로 혼동되는 다른 이미지들과 사용자를 구별할 수 있다. 전문 계층(206h)의 각각의 노드(202)는 각각의 노드(202)에 의해 수행되는 기능의 고도로 전문화된 성질로 인해 대략 10개의 추가 동작들만을 포함할 수 있다. 전문 계층 또는 네트워크(206h)로부터의 출력은 분류기 계층(206h)으로 전달된다.
[0078] 도 9는 수천 개의 노드 길이일 수 있는 단일 특성 벡터를 묘사한다. 일부 실시예들에서, 예컨대 도 7 및 도 8에 묘사된 것들과 같은, 뉴럴 네트워크(200)의 모든 각각의 노드(202)는 특성 벡터로 노드(202)에 리포팅할 수 있다.
[0079] 도 7, 도 8 및 도 9에 예시된 네트워크들(200)이 인접한 계층들(206) 사이에서만 이동하는 정보를 묘사하지만, 대부분의 네트워크들(200)은 모든 계층들 간의 통신을 포함한다(이들 통신들은 명확성을 위해 도 7, 도 8 및 도 9에서 생략되었음). 도 7, 도 8 및 도 9에 묘사된 네트워크들(200)은 노드들(202)이 상이한 계층들(206)에 심층 연결을 가지는 심층 믿음 또는 컨벌루셔널(convolutional) 뉴럴 네트워크들을 형성한다. 역 전파를 사용하면, 더 약한 노드들은 제로 값으로 세팅되고 학습된 연결 패턴들은 네트워크(200)에서 패스 업(pass up)된다. 도 7, 도 8 및 도 9에 예시된 네트워크들(200)이 특정 수의 계층들(206) 및 노드들(202)을 가지지만, 다른 실시예들에 따른 네트워크들(200)은 상이한(더 적거나 더 많은) 수의 계층들(206) 및 노드들(202)을 포함한다.
[0080] 뉴럴 네트워크들(200)의 몇몇 실시예들이 설명되었으므로, 홍채 이미지 정보 및 위에서-설명된 뉴럴 네트워크들(200)을 사용하여 분류 판정(샘/샘이 아님)을 하는 방법(300)이 이제 논의될 것이다. 도 10에 도시된 바와 같이, 분류 방법(300)은, 기본 형상들이 해당 이미지(212) 데이터에 있는지를 결정하기 위하여 이미지 인식 서브네트워크(208)가 사용자의 홍채 이미지(212) 데이터를 분석하는 단계(302)에서 시작된다. 단계(304)에서, 범용 서브네트워크(210)는 홍채 이미지(212) 데이터에 대한 카테고리를 결정하기 위하여 이미지 인식 서브네트워크(208)로부터의 형상 데이터를 분석한다. 일부 실시예들에서, "카테고리"는 "샘" 또는 "샘이 아님"일 수 있다. 그런 실시예들에서, 이 카테고리화는 사용자를 충분히 식별할 수 있다.
[0081] 다른 실시예들에서, 그 예가 도 11에 묘사되고, "카테고리"는 "샘"을 포함하는 복수의 잠재적 사용자 아이덴티티들일 수 있다. 도 11의 단계들(302 및 304)은 도 10의 단계들과 동일하다. 단계(306)에서, 튜닝 계층(206g)은 사용자의 눈 움직임들에 의해 유발된 아티팩트들을 제거하기 위하여 이미지 형상 및 카테고리 데이터를 수정한다. 튜닝 계층(206g)으로 데이터를 프로세싱하는 것은 사용자의 눈의 불완전한 이미지들(212), 예컨대 극단적인 각도들에 의해 유발된 왜곡들에 대해 데이터를 복원시킨다. 단계(308)에서, 전문 계층/서브네트워크(206h)는 선택적으로, 각각 고유의 잠재적으로 혼동되는 홍채에 대해 고유 노드를 갖는 상태로, 하나 또는 그 초과의 데이터베이스들에서 모든 각각의 알려진 잠재적으로 혼동되는 홍채로부터 사용자의 홍채를 구별하도록 구성된 노드들(202)을 부가함으로써 자체적으로 구축된다. 일부 실시예들에서, 단계(308)는, AR/사용자 식별 시스템이 먼저 자신의 허가된 사용자에 대해 교정될 때 그리고 사용자의 아이덴티티가 다른(예컨대, 더 종래의) 방법들을 사용하여 설정된 후 수행될 수 있다. 단계(310)에서, 전문 계층/서브네트워크(206h)는, "샘" 또는 "샘이 아님"만이 남을 때까지 "카테고리"의 혼동을 감소시키기 위하여 범용 서브네트워크(210) 및 튜닝 계층(206g)으로부터의 "카테고리" 데이터를 전문 계층/서브네트워크(206h)의 각각의 노드(202)를 통해 실행시킨다.
[0082] 위에서-설명된 뉴럴 네트워크들(200) 및 사용자 식별 방법들(300)은 컴퓨팅/프로세싱 요건들을 최소화하면서 사용자 특성들로부터 더 정확하고 정밀한 사용자 식별을 제공한다.
안전한 금융 트랜잭션들
[0083] 위에서 논의된 바와 같이, 패스워드들 또는 사인/로그인/인증 코드들은 위에서 설명된 AR/사용자 식별 시스템들 및 방법들을 사용하여 개별 안전 트랜잭션들로부터 제거될 수 있다. 본 시스템은 매우 높은 정도의 확실성으로 사용자를 사전-식별/사전-인증할 수 있다. 게다가, 시스템은 주기적인 모니터링을 사용하여 시간에 걸쳐 사용자의 식별을 유지할 수 있다. 그러므로, 식별된 사용자는, 임의의 사이트의 텀(term)들에 관한 통지(사용자에게 오버레이된 사용자 인터페이스 아이템으로서 디스플레이될 수 있음) 후 그 사이트에 대한 즉각적인 액세스를 가질 수 있다. 일 실시예에서, 시스템은 사용자에 의해 미리결정된 표준 텀들의 세트를 생성할 수 있어서, 사용자는 그 사이트에 대한 조건들을 즉각적으로 안다. 사이트가 이런 조건들의 세트(예컨대, 표준 텀들)를 준수하지 않으면, 본 시스템은 액세스 또는 그내에서의 트랜잭션들을 자동으로 허용하지 않을 수 있다.
[0084] 예컨대, 위에서-설명된 AR/사용자 식별 시스템들은 "마이크로-트랜잭션들"을 가능하게 하기 위하여 사용될 수 있다. 마이크로-트랜잭션들은 사용자의 금융 계좌에 매우 작은 인출액들 및 신용 거래들을 생성하는데, 이는 통상적으로 몇 센트 또는 1센트 미만 정도이다. 주어진 사이트에서, 본 시스템은, 사용자가 일부 콘텐츠를 보거나 사용하는 것뿐 아니라 얼마나 오랫동안(빠른 브라우징(browse)은 무료일 수 있지만, 특정 양을 초과할 때 요금이 부과될 것임) 보거나 사용했는지를 알도록 구성될 수 있다. 다양한 실시예들에서, 뉴스 기사는 1/3 센트의 비용이 들 수 있고; 책은 1페이지에 1페니가 청구될 수 있고; 음악은 한 번 듣는데 10 센트가 청구될 수 있는 식이다. 다른 실시예에서, 광고주는 배너 광고를 선택하거나 설문 조사를 하는 사용자에게 50 센트를 지불할 수 있다. 시스템은 트랜잭션 비용 중 작은 퍼센티지를 서비스 제공자에게 배분하도록 구성될 수 있다.
[0085] 일 실시예에서, 시스템은 사용자가 제어가능한 특정 마이크로-트랜잭션 계좌를 생성하기 위해 활용될 수 있고, 여기서 마이크로-트랜잭션들에 관련된 자금들은 사용자의 더 종래의 금융 계좌(예컨대, 온라인 은행 계좌)에/로부터 미리결정된 의미 있는 양들로 총합되어 분배된다. 마이크로-트랜잭션 계좌는 정규 간격들로(예컨대, 분기별로) 또는 특정 트리거들(예컨대, 사용자가 특정 웹사이트에서 몇 달러들을 초과하여 소비하였을 때)에 대한 응답으로 결제되거나 자금이 조달될 수 있다.
[0086] 본 시스템 및 기능성이 증강 현실에 초점을 둔 회사에 의해 제공될 수 있고, 그리고 사용자의 ID가 매우 확실하고 안전하게 알려지기 때문에, 사용자는 자신의 계좌들에 대한 즉각적인 액세스, 금액들의 3-D 보기, 소비, 소비 비율 및 그 소비의 그래픽 및/또는 지리적 맵을 제공받을 수 있다. 그런 사용자들은 소비(예컨대, 마이크로-트랜잭션들)를 멈췄다 다시 하는 것을 비롯하여 소비 액세스를 즉각적으로 조정하도록 허용될 수 있다.
[0087] 다른 실시예에서, 부모들은 그들의 자녀의 계좌들에 대해 유사한 액세스를 가질 수 있다. 부모들은 단지 소비액만큼만, 또는 특정 카테고리에 대해 특정 퍼센티지 등을 허용하기 위한 정책들을 세팅할 수 있다.
[0088] 매크로-소비(예컨대, 페니 또는 페니의 일부가 아닌, 달러 단위의 금액)에 대해, 다양한 실시예들은 본 시스템 구성들로 가능하게 될 수 있다.
[0089] 사용자는 부패하기 쉬운 상품들을 주문하여 자신의 추적된 위치 또는 사용자 선택 맵 위치로 배달하기 위하여 시스템을 사용할 수 있다. 시스템은 또한, 배달들이 도착할 때를 (예컨대, AR 시스템에서 만들어진 배달 비디오를 디스플레이함으로써) 사용자에게 통지할 수 있다. AR 텔레프레즌스(telepresence)를 사용하여, 사용자는 자신의 집에서 떨어진 사무실에 물리적으로 위치될 수 있지만, 배달원을 자신의 집에 들어오게 하고, 아바타 텔레프레즌스로 배달원에게 나타나고, 배달원이 제품을 배달할 때 배달원을 지켜보고, 그 다음 배달원이 떠나는 것을 확인하고, 그리고 아바타 텔레프레즌스에 의해 자신의 집에 대한 문을 잠글 수 있다.
[0090] 선택적으로, 시스템은 사용자 제품 선호도들을 저장할 수 있고 사용자가 선호하는 제품들에 관련된 판매들 또는 다른 프로모션들에 대해 사용자에게 경고할 수 있다. 이들 매크로-소비 실시예들에 대해, 사용자는 자신의 계좌 요약, 자신의 계좌의 모든 통계들 및 구매 패턴들을 볼 수 있고, 이에 의해 자신의 주문 전에 비교 쇼핑이 가능하게 된다.
[0091] 시스템이 눈을 추적하는데 활용될 수 있기 때문에, 또한 "한번의 응시(one glance)" 쇼핑이 가능하게 될 수 있다. 예컨대, 사용자는 물체(말하자면 호텔의 가운)를 보고 그리고 "내 계좌가 $3,000 초과로 다시 돌아가는 것을 원해"라고 말할 수 있다. 시스템은, 특정 조건들(예컨대, 계좌 잔액이 $3,000 초과임)이 달성될 때 구매를 실행할 것이다.
[0092] 시스템/서비스는, 본 기술을 사용하여 각각의 사람의 매우 신뢰성 있는 식별에 인덱싱(index)되는 비트코인(BITCOIN) 또는 등가의 대체 통화 시스템과 유사한 기존 통화 시스템들에 대한 대안들을 제공할 수 있다. 사용자들의 정확하고 정밀한 식별은 대체 통화 시스템들에 관련된 범죄에 대한 기회들을 감소시킨다.
안전한 통신들
[0093] 일 실시예에서, 홍채 및/또는 망막 서명 데이터는 안전한 통신들에 사용될 수 있다. 그런 실시예에서, 본 시스템은, 사용자가 하나 또는 그 초과의 동적으로 측정된 홍채 및/또는 망막 서명들에 기반하여 인증될 수 있을 때에만 액세스를 허용하는 신뢰된 안전한 하드웨어 디바이스들에만 텍스트, 이미지 및 다른 콘텐츠가 선택적으로 송신가능하고 그리고 디스플레이가능하게 허용하도록 구성될 수 있다. AR 시스템 디스플레이 디바이스가 직접 사용자의 망막 상에 투사되기 때문에, 의도된 수신측(홍채 및/또는 망막 서명에 의해 식별됨)만이 보호된 콘텐츠를 볼 수 있고; 그리고 추가로, 뷰잉 디바이스가 사용자들 눈을 능동적으로 모니터링하기 때문에, 동적으로 판독된 홍채 및/또는 망막 서명들은, 콘텐츠가 실제로 사용자의 눈들에 제시되었다는 증거로서(예컨대, 아마도 눈 움직임들의 요청된 시퀀스를 실행하는 것과 같은 검증 동작을 동반하는 디지털 영수증의 형태로서) 레코딩될 수 있다.
[0094] 위조 검출은 예상된 자연적 변화의 모델들에 기반하여 망막 이미지들, 정적 또는 2D 망막 이미지들, 생성된 이미지들 등의 이전 레코딩들을 사용하려는 시도들을 배제할 수 있다. 고유 기점/워터마크(watermark)가 생성되어 감사를 위한 고유 망막 서명을 생성하기 위해 망막들 상에 투사될 수 있다.
[0095] 위에서-설명된 금융 및 통신 시스템들은 더 정확하고 정밀한 사용자 인증으로부터 이익을 얻을 수 있는 다양한 공통 시스템들의 예들로서 제공된다. 따라서, 본원에 설명된 AR/사용자 식별 시스템들의 사용은 개시된 금융 및 통신 시스템들로 제한되는 것이 아니라, 오히려 사용자 인증을 요구하는 임의의 시스템에 적용가능하다.
[0096] 본 발명의 다양한 예시적 실시예들이 본원에 설명된다. 비-제한적 의미로 이들 예들에 대해 참조가 이루어진다. 이들 예들은 본 발명의 더 넓게 적용가능한 양상들을 예시하기 위하여 제공된다. 설명된 본 발명에 대해 다양한 변화들이 이루어질 수 있고 등가물들은 본 발명의 진정한 사상 및 범위에서 벗어남이 없이 대체될 수 있다. 게다가, 특정 상황, 재료, 물질 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상 또는 범위에 적응시키기 위하여 많은 수정들이 이루어질 수 있다. 추가로, 당업자는, 본원에 설명되고 예시된 개별 변동들 각각이 본 발명들의 범위 또는 사상에서 벗어남이 없이 다른 몇몇 실시예들 중 임의의 실시예의 피처들로부터 쉽게 분리되거나 결합될 수 있는 이산 컴포넌트들 및 피처들을 가지는 것을 인지할 것이다. 모든 그런 수정들은 본 개시내용과 연관된 청구항들의 범위 내에 있도록 의도된다.
[0097] 본 발명은 청구대상 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 그런 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그런 제공은 최종 사용자에 의해 수행될 수 있다. 다른 말로, "제공" 동작은 단순히, 최종 사용자가 청구대상 방법에 필수적인 디바이스를 제공하기 위하여 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 전력-인가 또는 달리 동작하는 것을 요구한다. 본원에 나열된 방법들은 논리적으로 가능한 나열된 이벤트들의 임의의 순서로, 및 이벤트들의 나열된 순서로 수행될 수 있다.
[0098] 재료 선택 및 제조에 관한 세부사항들과 함께, 본 발명의 예시적 양상들은 위에서 설명되었다. 본 발명의 다른 세부사항들에 관해서, 이들은 당업자들에게 일반적으로 알려지거나 인지되는 것뿐 아니라 위에서-참조된 특허들 및 공개물들과 관련하여 인지될 수 있다. 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들 측면에서 본 발명의 방법-기반 양상들에 관련하여 동일한 것이 사실로 유지될 수 있다.
[0099] 게다가, 본 발명이 다양한 피처들을 선택적으로 통합하는 몇몇 예들을 참조하여 설명되었지만, 본 발명은 본 발명의 각각의 변형에 관련하여 고려된 바와 같이 설명되거나 표시된 것으로 제한되지 않는다. 설명된 본 발명에 대해 다양한 변화들이 이루어질 수 있고 본 발명의 진정한 사상 및 범위에서 벗어남이 없이 등가물들(본원에 나열되든 일부 간략성을 위하여 포함되지 않든)이 대체될 수 있다. 게다가, 다양한 값들이 제공되는 경우, 그 범위의 상한과 하한 간의 모든 각각의 개재 값 및 그 언급된 범위 내의 임의의 다른 언급되거나 개재된 값은 본 발명 내에 포함되는 것으로 이해된다.
[00100] 또한, 설명된 본 발명의 변형들의 임의의 선택적인 피처가 본원에 설명된 피처들 중 임의의 하나 또는 그 초과에 독립적으로 또는 결합하여 설명되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 참조는, 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 구체적으로, 본원 및 본원에 연관된 청구항들에서 사용된 바와 같이, 단수 형태들은, 명확하게 다르게 언급되지 않으면 복수의 지시 대상들을 포함한다. 다른 말로, 단수들의 사용은 본 개시내용과 연관된 청구항들뿐 아니라 위의 상세한 설명의 청구대상 아이템 중 "적어도 하나"를 허용한다. 이 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것이 추가로 주목된다. 이와 같이, 이런 서술은 청구항 엘리먼트들의 나열과 관련하여 "오로지", "오직" 등 같은 그런 배타적인 용어의 사용, 또는 "네거티브" 제한의 사용을 위한 선행 기초로서 역할을 하도록 의도된다.
[00101] 그런 배타적 용어의 사용 없이, 본 개시내용과 연관된 청구항들에서 "포함하는"이라는 용어는, 주어진 수의 엘리먼트들이 그런 청구항들에 열거되든, 또는 피처의 부가가 그 청구항들에 설명된 엘리먼트의 성질을 변환하는 것으로 간주될 수 있는지 여부에 무관하게, 임의의 부가적인 엘리먼트의 포함을 허용할 수 있다. 본원에 구체적으로 정의된 바를 제외하고, 본원에 사용된 모든 기술적 및 과학적 용어들은 청구 유효성을 유지하면서 가능한 한 일반적으로 이해되는 의미로 넓게 제공되어야 한다.
[00102] 본 발명의 폭은 제공된 예들 및/또는 청구대상 명세서로 제한되는 것이 아니라, 오히려 본 개시내용과 연관된 청구항 언어의 범위에 의해서만 제한된다.
[00103] 전술한 설명에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 다양한 수정들 및 변화들이 본 발명의 더 넓은 사상 및 범위에서 벗어나지 않고 이루어질 수 있다는 것이 명백할 것이다. 예컨대, 위에서 설명된 프로세스 흐름들은 프로세스 동작들의 특정 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 중 많은 동작의 순서가 본 발명의 범위 또는 동작에 영향을 주지 않고 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적 의미보다 오히려 예시로 고려된다.

Claims (19)

  1. 사용자 식별 시스템으로서,
    이미지 데이터를 분석하고 상기 이미지 데이터에 기반하여 형상 데이터를 생성하기 위한 이미지 인식 네트워크;
    상기 형상 데이터를 분석하고 상기 형상 데이터에 기반하여 일반 카테고리 데이터를 생성하기 위한 범용(generalist) 네트워크;
    상기 일반 카테고리 데이터를 특성과 비교하여 좁은 카테고리 데이터를 생성하기 위한 전문(specialist) 네트워크; 및
    상기 좁은 카테고리 데이터에 기반하여 분류 판정을 나타내기 위하여 복수의 노드들을 포함하는 분류기 계층
    을 포함하는,
    사용자 식별 시스템.
  2. 제1 항에 있어서,
    복수의 계층들을 포함하는 역 전파 뉴럴(neural) 네트워크를 더 포함하는,
    사용자 식별 시스템.
  3. 제2 항에 있어서,
    상기 역 전파 뉴럴 네트워크는 또한 에러 억제 및 학습 상승(learning elevation)을 포함하는,
    사용자 식별 시스템.
  4. 제1 항에 있어서,
    상기 이미지 인식 네트워크로 인코딩된 ASIC를 더 포함하는,
    사용자 식별 시스템.
  5. 제1 항에 있어서,
    상기 전문 네트워크는 복수의 계층들을 포함하는 역 전파 네트워크를 포함하는,
    사용자 식별 시스템.
  6. 제1 항에 있어서,
    사용자 눈 움직임들에 기반하여 상기 일반 카테고리 데이터를 수정하기 위한 튜닝(tuning) 계층을 더 포함하는,
    사용자 식별 시스템.
  7. 시스템의 사용자를 식별하는 방법으로서,
    이미지 데이터를 분석하는 단계;
    상기 이미지 데이터에 기반하여 형상 데이터를 생성하는 단계;
    상기 형상 데이터를 분석하는 단계;
    상기 형상 데이터에 기반하여 일반 카테고리 데이터를 생성하는 단계;
    상기 일반 카테고리 데이터를 특성과 비교함으로써 좁은 카테고리 데이터를 생성하는 단계; 및
    상기 좁은 카테고리 데이터에 기반하여 분류 판정을 생성하는 단계
    를 포함하는,
    시스템의 사용자를 식별하는 방법.
  8. 제7 항에 있어서,
    데이터의 피스(piece)에서 에러를 식별하는 단계를 더 포함하는,
    시스템의 사용자를 식별하는 방법.
  9. 제8 항에 있어서,
    상기 에러가 식별된 상기 데이터의 피스를 억제하는 단계를 더 포함하는,
    시스템의 사용자를 식별하는 방법.
  10. 제7 항에 있어서,
    상기 이미지 데이터를 분석하는 단계는 상기 이미지 데이터의 복수의 픽셀을 스캐닝하는 단계를 포함하는,
    시스템의 사용자를 식별하는 방법.
  11. 제7 항에 있어서,
    상기 이미지 데이터는 사용자의 눈에 대응하는,
    시스템의 사용자를 식별하는 방법.
  12. 제7 항에 있어서,
    상기 특성은 알려진 잠재적으로 혼동되는 미스매칭된 개인으로부터 기인하는,
    시스템의 사용자를 식별하는 방법.
  13. 제7 항에 있어서,
    상기 특성은 눈썹 형상 및 눈 형상으로 이루어진 그룹으로부터 선택되는,
    시스템의 사용자를 식별하는 방법.
  14. 제7 항에 있어서,
    특성들의 네트워크를 생성하는 단계를 더 포함하고, 상기 네트워크의 각각의 개별 특성은 데이터베이스 내 잠재적으로 혼동되는 미스매칭된 개인과 연관되는,
    시스템의 사용자를 식별하는 방법.
  15. 제14 항에 있어서,
    상기 특성들의 네트워크는, 상기 시스템이 사용자를 위해 처음으로 교정될 때, 생성되는,
    시스템의 사용자를 식별하는 방법.
  16. 제7 항에 있어서,
    시간에 걸쳐 상기 사용자의 눈 움직임들을 추적하는 단계를 더 포함하는,
    시스템의 사용자를 식별하는 방법.
  17. 제16 항에 있어서,
    상기 일반 카테고리 데이터를 한계(limitation)와 비교하기 전에 사용자의 상기 눈 움직임들에 기반하여 상기 일반 카테고리 데이터를 수정하는 단계를 더 포함하는,
    시스템의 사용자를 식별하는 방법.
  18. 제16 항에 있어서,
    상기 사용자의 눈 움직임들로부터 발생하는 변동에 따르도록 상기 일반 카테고리 데이터를 수정하는 단계를 더 포함하는,
    시스템의 사용자를 식별하는 방법.
  19. 비-일시적 컴퓨터 판독가능 매체에 구현된 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 판독가능 매체는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 시스템의 사용자를 식별하기 위한 방법을 실행하게 하는 명령들의 시퀀스가 저장되어 있고,
    상기 방법은:
    이미지 데이터를 분석하는 단계;
    상기 이미지 데이터에 기반하여 형상 데이터를 생성하는 단계;
    상기 형상 데이터를 분석하는 단계;
    상기 형상 데이터에 기반하여 일반 카테고리 데이터를 생성하는 단계;
    상기 일반 카테고리 데이터를 특성과 비교함으로써 좁은 카테고리 데이터를 생성하는 단계; 및
    상기 좁은 카테고리 데이터에 기반하여 분류 판정을 생성하는 단계
    를 포함하는,
    비-일시적 컴퓨터 판독가능 매체에 구현된 컴퓨터 프로그램 제품.
KR1020177035543A 2015-05-11 2016-05-09 뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들 KR102393228B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562159593P 2015-05-11 2015-05-11
US62/159,593 2015-05-11
PCT/US2016/031499 WO2016183020A1 (en) 2015-05-11 2016-05-09 Devices, methods and systems for biometric user recognition utilizing neural networks

Publications (2)

Publication Number Publication Date
KR20180005231A true KR20180005231A (ko) 2018-01-15
KR102393228B1 KR102393228B1 (ko) 2022-04-29

Family

ID=57248334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177035543A KR102393228B1 (ko) 2015-05-11 2016-05-09 뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들

Country Status (9)

Country Link
US (3) US10275902B2 (ko)
EP (1) EP3295371A4 (ko)
JP (1) JP6879938B2 (ko)
KR (1) KR102393228B1 (ko)
CN (2) CN107533642B (ko)
AU (1) AU2016261487B2 (ko)
CA (1) CA2983749C (ko)
IL (1) IL255234B (ko)
WO (1) WO2016183020A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393228B1 (ko) * 2015-05-11 2022-04-29 매직 립, 인코포레이티드 뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들
JP2017033547A (ja) * 2015-08-05 2017-02-09 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
JP6889728B2 (ja) 2016-03-11 2021-06-18 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 畳み込みニューラルネットワークにおける構造学習
KR20180006087A (ko) * 2016-07-08 2018-01-17 삼성전자주식회사 사용자의 의도에 기반한 홍채 인식 방법 및 이를 구현한 전자 장치
CN206301289U (zh) 2016-11-29 2017-07-04 阿里巴巴集团控股有限公司 Vr终端设备
CN107066079A (zh) 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
CN106980983A (zh) 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置
CN107122642A (zh) 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
US10726633B2 (en) * 2017-12-29 2020-07-28 Facebook, Inc. Systems and methods for generating and displaying artificial environments based on real-world environments
JP2019150139A (ja) * 2018-02-28 2019-09-12 沖電気工業株式会社 生体データ処理システム及び生体データ取得装置
USD878420S1 (en) * 2018-03-16 2020-03-17 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
GB2574891B (en) * 2018-06-22 2021-05-12 Advanced Risc Mach Ltd Data processing
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US10977548B2 (en) 2018-12-05 2021-04-13 Bank Of America Corporation Generation of capsule neural networks for enhancing image processing platforms
WO2020123868A1 (en) * 2018-12-12 2020-06-18 Tesseract Health, Inc. Biometric identification and health status determination
EP3973468A4 (en) 2019-05-21 2022-09-14 Magic Leap, Inc. HANDPOSITION ESTIMATING
US12099997B1 (en) 2020-01-31 2024-09-24 Steven Mark Hoffberg Tokenized fungible liabilities
DE102021126907A1 (de) 2021-10-18 2023-04-20 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung, System und Verfahren zur biometrischen Benutzererkennung bei einer Vorrichtung
US12008605B2 (en) 2022-02-16 2024-06-11 International Business Machines Corporation Peer-to-peer donation management
CN115147902B (zh) * 2022-06-30 2023-11-07 北京百度网讯科技有限公司 人脸活体检测模型的训练方法、装置及计算机程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472120B2 (en) * 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US8963806B1 (en) * 2012-10-29 2015-02-24 Google Inc. Device authentication

Family Cites Families (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2885823B2 (ja) * 1989-04-11 1999-04-26 株式会社豊田中央研究所 視覚認識装置
JPH0695192A (ja) * 1991-05-01 1994-04-08 Matsushita Electric Ind Co Ltd 画像認識装置及び画像入力方法
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5572596A (en) * 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
US5850470A (en) * 1995-08-30 1998-12-15 Siemens Corporate Research, Inc. Neural network for locating and recognizing a deformable object
EP0892956A4 (en) * 1996-02-09 2002-07-24 Sarnoff Corp METHOD AND APPARATUS FOR FORMING A NEURONAL NETWORK FOR THE DETECTION AND CLASSIFICATION OF OBJECTS WITH UNCERTAINED TRAINING DATA
US6121953A (en) * 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
US6035057A (en) * 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
US5963653A (en) * 1997-06-19 1999-10-05 Raytheon Company Hierarchical information fusion object recognition system and method
US6463426B1 (en) * 1997-10-27 2002-10-08 Massachusetts Institute Of Technology Information search and retrieval system
US6138109A (en) 1997-12-23 2000-10-24 Caterpillar Inc. Neural network diagnostic classification of complex binary systems
CN1235318A (zh) * 1999-04-05 1999-11-17 斯玛特电子科技(上海)有限公司 袖珍式指纹与虹膜的身份双重识别系统和方法
US6247813B1 (en) * 1999-04-09 2001-06-19 Iritech, Inc. Iris identification system and method of identifying a person through iris recognition
US6865302B2 (en) * 2000-03-16 2005-03-08 The Regents Of The University Of California Perception-based image retrieval
DK1285409T3 (da) * 2000-05-16 2005-08-22 Swisscom Mobile Ag Fremgangsmåde ved biometrisk identificering og autentificering
US6768509B1 (en) * 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
GB2364590B (en) * 2000-07-07 2004-06-02 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US6829384B2 (en) * 2001-02-28 2004-12-07 Carnegie Mellon University Object finder for photographic images
US9031880B2 (en) 2001-07-10 2015-05-12 Iii Holdings 1, Llc Systems and methods for non-traditional payment using biometric data
US8985442B1 (en) 2011-07-18 2015-03-24 Tiger T G Zhou One-touch payment using haptic control via a messaging and calling multimedia system on mobile device and wearable device, currency token interface, point of sale device, and electronic payment card
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP3855939B2 (ja) * 2003-01-31 2006-12-13 ソニー株式会社 画像処理装置、画像処理方法及び撮影装置
CN1768339A (zh) * 2003-04-03 2006-05-03 都柏林城市大学 用于索引和检索多媒体数据的形状匹配方法
CN1839410B (zh) * 2003-07-18 2015-05-20 佳能株式会社 图像处理设备、摄像设备、图像处理方法
EP1650711B1 (en) * 2003-07-18 2015-03-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
WO2005022343A2 (en) 2003-08-29 2005-03-10 Exscientia, Llc System and methods for incrementally augmenting a classifier
US7593550B2 (en) * 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
JP4708422B2 (ja) * 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP4217664B2 (ja) * 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
US7668376B2 (en) * 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
US7644049B2 (en) * 2004-11-19 2010-01-05 Intel Corporation Decision forest based classifier for determining predictive importance in real-time data analysis
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
WO2006108017A2 (en) 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
JP4766919B2 (ja) * 2005-05-16 2011-09-07 則彦 横井 眼科測定方法および眼科測定装置
US7689008B2 (en) * 2005-06-10 2010-03-30 Delphi Technologies, Inc. System and method for detecting an eye
US20060291697A1 (en) * 2005-06-21 2006-12-28 Trw Automotive U.S. Llc Method and apparatus for detecting the presence of an occupant within a vehicle
CN100336071C (zh) * 2005-08-19 2007-09-05 清华大学 复杂背景图像中鲁棒的眼睛精确定位方法
US7603000B2 (en) * 2005-08-31 2009-10-13 Siemens Medical Solutions Usa, Inc. System and method for learning relative distance in a shape space using image based features
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
IL172480A (en) * 2005-12-08 2011-11-30 Amir Zahavi Method for automatic detection and classification of objects and patterns in low resolution environments
US8890813B2 (en) * 2009-04-02 2014-11-18 Oblong Industries, Inc. Cross-user hand tracking and shape recognition user interface
CN101055620B (zh) * 2006-04-12 2011-04-06 富士通株式会社 形状比较装置和方法
US8131011B2 (en) * 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
CN100481112C (zh) * 2007-06-11 2009-04-22 湖北东润科技有限公司 一种人脸识别系统与识别方法
CN101329722A (zh) * 2007-06-21 2008-12-24 上海北控智能科技有限公司 基于神经网络进行识别的算法的人脸识别方法
CN101344914A (zh) * 2007-07-09 2009-01-14 上海耀明仪表控制有限公司 基于特征点的人脸识别方法
US8717292B2 (en) 2007-08-07 2014-05-06 Osaka Electro-Communication University Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
KR101363017B1 (ko) * 2007-08-23 2014-02-12 삼성전자주식회사 얼굴영상 촬영 및 분류 시스템과 방법
US8180112B2 (en) * 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
US8411910B2 (en) * 2008-04-17 2013-04-02 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition
KR101030613B1 (ko) 2008-10-08 2011-04-20 아이리텍 잉크 아이이미지에서 관심영역정보 및 인식적 정보획득방법
US8290208B2 (en) * 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
US8374404B2 (en) * 2009-02-13 2013-02-12 Raytheon Company Iris recognition using hyper-spectral signatures
CN101510218A (zh) * 2009-03-26 2009-08-19 阿里巴巴集团控股有限公司 实现图片搜索的方法及网站服务器
US8226227B2 (en) 2009-09-18 2012-07-24 Sony Corporation Glasses for image viewing
US20110087611A1 (en) * 2009-10-14 2011-04-14 Shyam Chetal Biometric identification and authentication system for financial accounts
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8553989B1 (en) * 2010-04-27 2013-10-08 Hrl Laboratories, Llc Three-dimensional (3D) object recognition system using region of interest geometric features
WO2011143633A2 (en) * 2010-05-14 2011-11-17 Evolution Robotics Retail, Inc. Systems and methods for object recognition using a large database
JP5548042B2 (ja) 2010-06-23 2014-07-16 ソフトバンクモバイル株式会社 ユーザ端末装置及びショッピングシステム
US8824747B2 (en) * 2010-06-29 2014-09-02 Apple Inc. Skin-tone filtering
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
WO2014158345A1 (en) 2013-01-31 2014-10-02 University Of Iowa Research Foundation Methods and systems for vessel bifurcation detection
US8488888B2 (en) * 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US8438110B2 (en) 2011-03-08 2013-05-07 Bank Of America Corporation Conducting financial transactions based on identification of individuals in an augmented reality environment
WO2012142756A1 (zh) * 2011-04-20 2012-10-26 中国科学院自动化研究所 基于人眼图像的多特征融合身份识别方法
US8965822B2 (en) * 2011-05-11 2015-02-24 Ari M. Frank Discovering and classifying situations that influence affective response
US9240010B2 (en) 2011-07-28 2016-01-19 Iii Holdings 1, Llc Systems and methods for generating and using a digital pass
US8988350B2 (en) 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
US8719278B2 (en) 2011-08-29 2014-05-06 Buckyball Mobile Inc. Method and system of scoring documents based on attributes obtained from a digital document by eye-tracking data analysis
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US10223710B2 (en) 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
US9100825B2 (en) 2012-02-28 2015-08-04 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication based on different device capture modalities
US8767016B2 (en) * 2012-03-15 2014-07-01 Shun-Ching Yang Virtual reality interaction system and method
US9082011B2 (en) * 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
EP2648133A1 (fr) 2012-04-04 2013-10-09 Biomerieux Identification de microorganismes par spectrometrie et classification structurée
US9101312B2 (en) * 2012-04-18 2015-08-11 TBI Diagnostics LLC System for the physiological evaluation of brain function
JP2013250856A (ja) * 2012-06-01 2013-12-12 Mitsubishi Electric Corp 監視システム
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US8873812B2 (en) * 2012-08-06 2014-10-28 Xerox Corporation Image segmentation using hierarchical unsupervised segmentation and hierarchical classifiers
US9092896B2 (en) * 2012-08-07 2015-07-28 Microsoft Technology Licensing, Llc Augmented reality display of scene behind surface
US8369595B1 (en) * 2012-08-10 2013-02-05 EyeVerify LLC Texture features for biometric authentication
US8953850B2 (en) 2012-08-15 2015-02-10 International Business Machines Corporation Ocular biometric authentication with system verification
US10209946B2 (en) 2012-08-23 2019-02-19 Red Hat, Inc. Augmented reality personal identification
US9164580B2 (en) 2012-08-24 2015-10-20 Microsoft Technology Licensing, Llc Calibration of eye tracking system
JP2014092940A (ja) 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
WO2015112108A1 (en) 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
WO2014143843A1 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Controlling wireless device access to host device functionality
US9111348B2 (en) * 2013-03-15 2015-08-18 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system of dynamic category object recognition
WO2014169238A1 (en) * 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US9275213B2 (en) 2013-04-15 2016-03-01 International Business Machines Corporation Method and system for securing the entry of data to a device
US9147125B2 (en) * 2013-05-03 2015-09-29 Microsoft Technology Licensing, Llc Hand-drawn sketch recognition
US9979547B2 (en) 2013-05-08 2018-05-22 Google Llc Password management
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9207771B2 (en) * 2013-07-08 2015-12-08 Augmenta Oy Gesture based user interface
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9336781B2 (en) 2013-10-17 2016-05-10 Sri International Content-aware speaker recognition
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9202144B2 (en) * 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
US9955895B2 (en) 2013-11-05 2018-05-01 The Research Foundation For The State University Of New York Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces
CN106132284B (zh) 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 光学眼动追踪
US9489765B2 (en) * 2013-11-18 2016-11-08 Nant Holdings Ip, Llc Silhouette-based object and texture alignment, systems and methods
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
CN105849747B (zh) * 2013-11-30 2018-08-17 北京市商汤科技开发有限公司 用于人脸图像识别的方法和系统
US20170261750A1 (en) 2013-12-04 2017-09-14 Google Inc. Co-Aligned Retinal Imaging And Display System
US9224068B1 (en) * 2013-12-04 2015-12-29 Google Inc. Identifying objects in images
US20150186708A1 (en) * 2013-12-31 2015-07-02 Sagi Katz Biometric identification system
WO2015123646A1 (en) * 2014-02-14 2015-08-20 Nant Holdings Ip, Llc Edge-based recognition, systems and methods
US9501498B2 (en) * 2014-02-14 2016-11-22 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
IL231862A (en) * 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
US9262759B2 (en) 2014-04-10 2016-02-16 Bank Of America Corporation Wearable device as a payment vehicle
US20150296135A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring
US9317785B1 (en) * 2014-04-21 2016-04-19 Video Mining Corporation Method and system for determining ethnicity category of facial images based on multi-level primary and auxiliary classifiers
WO2015164373A1 (en) * 2014-04-23 2015-10-29 Raytheon Company Systems and methods for context based information delivery using augmented reality
WO2015171815A1 (en) * 2014-05-06 2015-11-12 Nant Holdings Ip, Llc Image-based feature detection using edge vectors
WO2016018488A2 (en) * 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
US10448867B2 (en) 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
CN106462940A (zh) * 2014-10-09 2017-02-22 微软技术许可有限责任公司 图像中通用对象检测
KR102357326B1 (ko) * 2014-11-19 2022-01-28 삼성전자주식회사 얼굴 특징 추출 방법 및 장치, 얼굴 인식 방법 및 장치
JP2016126510A (ja) * 2014-12-26 2016-07-11 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
KR102130162B1 (ko) * 2015-03-20 2020-07-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 인공 신경망들에 대한 관련성 스코어 할당
KR102393228B1 (ko) 2015-05-11 2022-04-29 매직 립, 인코포레이티드 뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들
US9747717B2 (en) * 2015-05-13 2017-08-29 Intel Corporation Iterative closest point technique based on a solution of inverse kinematics problem
US20160358181A1 (en) 2015-05-14 2016-12-08 Magic Leap, Inc. Augmented reality systems and methods for tracking biometric data
JP6416438B2 (ja) * 2015-09-11 2018-10-31 アイベリファイ インコーポレイテッド 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および／またはサブ顔領域との融合
US9939908B2 (en) 2015-09-28 2018-04-10 Paypal, Inc. Multi-device authentication
JP6889728B2 (ja) 2016-03-11 2021-06-18 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 畳み込みニューラルネットワークにおける構造学習
KR102648770B1 (ko) * 2016-07-14 2024-03-15 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
US20180024726A1 (en) * 2016-07-21 2018-01-25 Cives Consulting AS Personified Emoji
KR102707594B1 (ko) * 2016-11-11 2024-09-19 삼성전자주식회사 홍채 영역 추출 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472120B2 (en) * 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US8963806B1 (en) * 2012-10-29 2015-02-24 Google Inc. Device authentication

Also Published As

Publication number Publication date
JP2018524666A (ja) 2018-08-30
US20190213751A1 (en) 2019-07-11
CA2983749A1 (en) 2016-11-17
JP6879938B2 (ja) 2021-06-02
IL255234A (en) 2019-07-31
KR102393228B1 (ko) 2022-04-29
EP3295371A4 (en) 2018-06-27
CN107533642A (zh) 2018-01-02
EP3295371A1 (en) 2018-03-21
US10275902B2 (en) 2019-04-30
US10636159B2 (en) 2020-04-28
CN114758406A (zh) 2022-07-15
NZ736574A (en) 2021-02-26
US11216965B2 (en) 2022-01-04
AU2016261487A1 (en) 2017-11-09
IL255234B (en) 2020-10-29
AU2016261487B2 (en) 2020-11-05
CA2983749C (en) 2021-12-28
US20160335512A1 (en) 2016-11-17
US20200202547A1 (en) 2020-06-25
WO2016183020A1 (en) 2016-11-17
CN107533642B (zh) 2022-05-13
CN114758406B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
US11216965B2 (en) Devices, methods and systems for biometric user recognition utilizing neural networks
JP7106706B2 (ja) バイオメトリックデータを追跡するための拡張現実システムおよび方法
US20160358181A1 (en) Augmented reality systems and methods for tracking biometric data
US11874910B2 (en) Facial recognition authentication system including path parameters
JP7274532B2 (ja) 認証システムにおいてユーザを登録および認証するための方法、顔認証システム、ならびに認証システムにおいてユーザを認証するための方法
JP6550460B2 (ja) 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証
KR20180120274A (ko) 생체 인증 정보를 교환하도록 구성된 머리 장착 디스플레이 시스템
NZ736574B2 (en) Methods for biometric user recognition
NZ736861B2 (en) Augmented reality systems and methods for tracking biometric data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant