JP7106706B2 - バイオメトリックデータを追跡するための拡張現実システムおよび方法 - Google Patents

バイオメトリックデータを追跡するための拡張現実システムおよび方法 Download PDF

Info

Publication number
JP7106706B2
JP7106706B2 JP2021063135A JP2021063135A JP7106706B2 JP 7106706 B2 JP7106706 B2 JP 7106706B2 JP 2021063135 A JP2021063135 A JP 2021063135A JP 2021063135 A JP2021063135 A JP 2021063135A JP 7106706 B2 JP7106706 B2 JP 7106706B2
Authority
JP
Japan
Prior art keywords
user
eye
linear
biometric data
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021063135A
Other languages
English (en)
Other versions
JP2021121923A (ja
Inventor
アール. ブラドスキー ゲイリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021121923A publication Critical patent/JP2021121923A/ja
Application granted granted Critical
Publication of JP7106706B2 publication Critical patent/JP7106706B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/16Implementing security features at a particular protocol layer
    • H04L63/168Implementing security features at a particular protocol layer above the transport layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30Security of mobile devices; Security of mobile applications
    • H04W12/33Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、バイオメトリックデータを利用して、拡張現実(AR)デバイスを通して実
施される商取引を促進するためのシステムおよび方法に関する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像ま
たはその一部が、現実であるように見える様式において、もしくはそのように知覚され得
る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のた
めのシステムの開発を促進している。仮想現実、すなわち、「VR」シナリオは、典型的
には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画
像情報の提示を伴う。拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの
周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。
例えば、図1を参照すると、拡張現実場面が、描写されており、AR技術のユーザは、
人々、木々、建物を背景として、コンクリートのプラットフォーム1120を特徴とする
実世界の公園のような設定を見る。これらのアイテムに加え、AR技術のユーザは、実世
界プラットフォーム1120上に立っているロボット像1110と、飛んでいる漫画のよ
うなアバタキャラクタ2とも知覚するが、これらの要素(2、1110)は、実世界には
存在しない。ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間に
おける仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、そのよ
うな拡張現実場面を生成することは、困難である。
そのようなARデバイスは、あらゆるタイプの仮想コンテンツをユーザに提示するため
に使用され得ることが想定される。1つ以上の実施形態では、ARデバイスは、種々のゲ
ームアプリケーションの状況において使用され、ユーザが、実在の状況を模倣する、単独
プレーヤまたは複数プレーヤビデオ/拡張現実ゲームに参加することを可能にし得る。例
えば、パーソナルコンピュータにおいてビデオゲームをプレーするのではなく、ARユー
ザは、現実世界に非常に似た条件におけるより大きなスケールでゲームをプレーし得る(
例えば、「原寸」3Dモンスタが、ARユーザが公園を散歩しているとき、実際の建物の
背後から現れ得る等)。実際、これは、ゲーム体験の信憑性および楽しみを著しく向上さ
せる。
図1は、ゲームアプリケーションの状況においてARデバイスの可能性を図示するが、
ARデバイスは、多数の他の用途において使用され得、日常的コンピューティングデバイ
ス(例えば、パーソナルコンピュータ、携帯電話、タブレットデバイス等)に取って代わ
ることが予期され得る。仮想コンテンツをユーザの視野内に戦略的に置くことによって、
ARデバイスは、ユーザが、同時に、ユーザの物理的環境に接続されながら、種々のコン
ピューティングタスク(例えば、電子メールをチェックする、用語をウェブ上で調べる、
他のARユーザと電話会議する、映画を鑑賞する等)を行うことを可能にする、歩くパー
ソナルコンピュータと見なされ得る。例えば、机上の物理的デバイスに制約されるのでは
なく、ARユーザは、「移動中」(例えば、散歩しながら、日々の通勤時、そのオフィス
以外の物理的場所において、そのコンピュータから離れて等)であり得、依然として、仮
想電子メール画面を引き出し、例えば、電子メールをチェックすること、もしくはARデ
バイス上に画面を仮想的に事前設定することによって、友人とビデオ会議を行うことが可
能であり、または別の例では、間に合わせの場所において仮想オフィスを構築することが
可能である。多数の類似仮想現実/拡張現実シナリオが、想定され得る。
下層コンピューティング技術の性質におけるこのシフトは、それなりに利点も課題もあ
る。ヒト視覚系の生理学的限界に配慮した、前述のもの等の拡張現実場面を提示するため
に、ARデバイスは、所望の仮想コンテンツをユーザの物理的環境内の1つ以上の実オブ
ジェクトと関連して投影するために、ユーザの物理的周囲を認知しなければならない。こ
の目的を達成するために、ARデバイスは、典型的には、種々の追跡デバイス(例えば、
眼追跡デバイス、GPS等)、カメラ(例えば、視野カメラ、赤外線カメラ、深度カメラ
等)、およびセンサ(例えば、加速度計、ジャイロスコープ等)を装備し、ユーザの周囲
内の種々の実オブジェクトと関連して、ユーザの位置、向き、距離等を査定し、実世界の
オブジェクトおよび他のそのような機能性を検出し、識別する。
ARデバイスがARユーザおよびその周囲についての種々のタイプのデータを追跡する
ように構成されている場合、1つ以上の実施形態では、このデータは、有利には、最小限
の入力がユーザから要求されることを確実にし、かつ殆どまたは全く中断をユーザのAR
体験に生じさせずに、ユーザの種々のタイプの取引を補助するために活用され得る。
詳しく説明すると、従来の取引(金融またはその他)は、商取引に参加するために、典
型的には、ユーザが、ある形態の金銭トークン(例えば、現金、小切手、クレジットカー
ド等)、ある場合には、身分証明書(例えば、運転免許証等)、および認証(例えば、署
名等)を物理的に携行することを要求する。あるユーザが、百貨店の中に入って行くとす
る。任意の種類の購入を行うために、ユーザは、典型的には、商品を取り上げ、商品をカ
ートの中に入れ、レジまで歩いて行き、レジ係の前で列に並び、レジ係がいくつかの商品
を走査するのを待ち、クレジットカードを取り出し、身分証明書を提供し、クレジットカ
ード領収証に署名し、商品の将来的返品のために領収証を保管する。従来の金融取引では
、これらのステップは、必要ではあるが、時間がかかり、非効率的であり、ある場合には
、これらのステップは、ユーザが購入を行うことを抑止または禁止する(例えば、ユーザ
が金銭トークンまたは身分証明書を携行していない等)。しかしながら、ARデバイスの
状況では、これらのステップは、冗長かつ不必要である。1つ以上の実施形態では、AR
デバイスは、ユーザが、ユーザが前述の面倒な手順を行うことを要求せずに、多くのタイ
プの取引をシームレスに行うことを可能にするように構成され得る。
したがって、ARユーザが日常的取引に参加することを補助するためのより優れたソリ
ューションの必要性がある。
本発明の実施形態は、1人以上のユーザのための仮想現実および/もしくは拡張現実相
互作用を促進するためのデバイス、システム、ならびに方法を対象とする。
一側面では、拡張現実デバイスを通して取引を実施する方法は、バイオメトリックデー
タをユーザから捕捉することと、捕捉されたバイオメトリックデータに少なくとも部分的
に基づいて、ユーザの識別を決定することと、決定された識別に基づいて、取引のために
ユーザを認証することとを含む。
1つ以上の実施形態では、方法はさらに、取引に関するデータの組を金融機関に伝送す
ることを含む。1つ以上の実施形態では、バイオメトリックデータは、虹彩パターンであ
る。1つ以上の実施形態では、バイオメトリックデータは、ユーザの音声記録である。1
つ以上の実施形態では、バイオメトリックデータは、網膜署名である。1つ以上の実施形
態では、バイオメトリックデータは、ユーザの皮膚に関連付けられた特性である。
1つ以上の実施形態では、バイオメトリックデータは、ユーザの眼の移動を捕捉する1
つ以上の眼追跡カメラを通して捕捉される。1つ以上の実施形態では、バイオメトリック
データは、ユーザの眼の移動のパターンである。1つ以上の実施形態では、バイオメトリ
ックデータは、ユーザの眼の瞬きパターンである。
1つ以上の実施形態では、拡張現実デバイスは、頭部搭載型であり、拡張現実デバイス
は、ユーザのために個々に較正される。1つ以上の実施形態では、バイオメトリックデー
タは、ユーザに関する所定のデータと比較される。1つ以上の実施形態では、所定のデー
タは、ユーザの眼の既知の署名移動である。
1つ以上の実施形態では、所定のデータは、既知の虹彩パターンである。1つ以上の実
施形態では、所定のデータは、既知の網膜パターンである。1つ以上の実施形態では、方
法はさらに、ユーザが取引を行いたいという願望を検出することと、検出された願望に少
なくとも部分的に基づいて、ユーザからバイオメトリックデータを要求することと、バイ
オメトリックデータを所定のバイオメトリックデータと比較し、結果を生成することであ
って、ユーザは、結果に少なくとも部分的に基づいて認証される、こととを含む。
1つ以上の実施形態では、取引は、商取引である。1つ以上の実施形態では、方法はさ
らに、ユーザの認証をユーザに関連付けられた金融機関に通信することであって、金融機
関は、認証に少なくとも部分的に基づいて、ユーザの代わりに支払を行う、ことを含む。
1つ以上の実施形態では、金融機関は、支払をユーザによって示される1つ以上の販売業
者に伝送する。
1つ以上の実施形態では、方法はさらに、拡張現実デバイスに関連付けられた中断イベ
ントまたは取引イベントを検出することを含む。1つ以上の実施形態では、方法はさらに
、検出されたイベントに少なくとも部分的に基づいて、ユーザを再認証するために、新し
いバイオメトリックデータをユーザから捕捉することを含む。1つ以上の実施形態では、
アクティビティの中断は、ユーザの頭部からの拡張現実デバイスの除去に少なくとも部分
的に基づいて、検出される。
1つ以上の実施形態では、アクティビティの中断は、拡張現実デバイスのネットワーク
との接続性の喪失に少なくとも部分的に基づいて、検出される。1つ以上の実施形態では
、取引イベントは、ユーザによる取引の明示的承認に少なくとも部分的に基づいて、検出
される。1つ以上の実施形態では、取引イベントは、ユーザの注視に関連付けられたヒー
トマップに少なくとも部分的に基づいて、検出される。
1つ以上の実施形態では、取引イベントは、拡張現実デバイスを通して受信されるユー
ザ入力に少なくとも部分的に基づいて、検出される。1つ以上の実施形態では、ユーザ入
力は、眼のジェスチャを含む。1つ以上の実施形態では、ユーザ入力は、手のジェスチャ
を含む。
別の側面では、拡張現実ディスプレイシステムは、バイオメトリックデータをユーザか
ら捕捉するためのバイオメトリックデータ追跡デバイスと、バイオメトリックデータ追跡
デバイスに動作可能に結合され、捕捉されたバイオメトリックデータを処理し、捕捉され
たバイオメトリックデータに少なくとも部分的に基づいて、ユーザの識別を決定するため
のプロセッサと、少なくとも金融機関と通信し、取引のためにユーザを認証するためのサ
ーバとを備えている。
1つ以上の実施形態では、バイオメトリックデータは、眼移動データである。1つ以上
の実施形態では、バイオメトリックデータは、ユーザの虹彩の画像に対応する。1つ以上
の実施形態では、サーバはまた、取引に関するデータの組を金融機関に伝送する。1つ以
上の実施形態では、バイオメトリックデータは、虹彩パターンである。
1つ以上の実施形態では、バイオメトリックデータは、ユーザの音声記録である。1つ
以上の実施形態では、バイオメトリックデータは、網膜署名である。1つ以上の実施形態
では、バイオメトリックデータは、ユーザの皮膚に関連付けられた特性である。1つ以上
の実施形態では、バイオメトリック追跡デバイスは、1つ以上の眼追跡カメラを備え、ユ
ーザの眼の移動を捕捉する。1つ以上の実施形態では、バイオメトリックデータは、ユー
ザの眼の移動のパターンである。
1つ以上の実施形態では、バイオメトリックデータは、ユーザの眼の瞬きパターンであ
る。1つ以上の実施形態では、拡張現実ディスプレイシステムは、頭部搭載型であり、拡
張現実ディスプレイシステムは、ユーザのために個々に較正される。1つ以上の実施形態
では、プロセッサはまた、バイオメトリックデータをユーザに関する所定のデータと比較
する。1つ以上の実施形態では、所定のデータは、ユーザの眼の既知の署名移動である。
1つ以上の実施形態では、所定のデータは、既知の虹彩パターンである。1つ以上の実施
形態では、所定のデータは、既知の網膜パターンである。1つ以上の実施形態では、プロ
セッサは、ユーザが取引を行うことを望んでいることを検出し、プロセッサは、検出に少
なくとも部分的に基づいて、バイオメトリックデータをユーザから要求するためのユーザ
インターフェースをさらに備え、プロセッサは、バイオメトリックデータを所定のバイオ
メトリックデータと比較し、比較に少なくとも部分的に基づいて、ユーザを認証する。
1つ以上の実施形態では、取引は、商取引である。1つ以上の実施形態では、プロセッ
サは、ユーザの認証をユーザに関連付けられた金融機関に通信し、金融機関は、認証に少
なくとも部分的に基づいて、ユーザの代わりに支払を行う。1つ以上の実施形態では、金
融機関は、支払をユーザによって示される1つ以上の販売業者に伝送する。
1つ以上の実施形態では、プロセッサは、拡張現実デバイスに関連付けられた中断イベ
ントまたは取引イベントを検出し、バイオメトリック追跡デバイスは、検出されたイベン
トに少なくとも部分的に基づいて、ユーザを再認証するために、新しいバイオメトリック
データをユーザから捕捉する。1つ以上の実施形態では、アクティビティの中断は、ユー
ザの頭部からの拡張現実デバイスの除去に少なくとも部分的に基づいて、検出される。
1つ以上の実施形態では、アクティビティの中断は、拡張現実デバイスのネットワーク
との接続性の喪失に少なくとも部分的に基づいて、検出される。1つ以上の実施形態では
、取引イベントは、ユーザによる取引の明示的承認に少なくとも部分的に基づいて、検出
される。1つ以上の実施形態では、取引イベントは、ユーザの注視に関連付けられたヒー
トマップに少なくとも部分的に基づいて、検出される。1つ以上の実施形態では、取引イ
ベントは、拡張現実デバイスを通して受信されるユーザ入力に少なくとも部分的に基づい
て、検出される。1つ以上の実施形態では、ユーザ入力は、眼のジェスチャを含む。1つ
以上の実施形態では、ユーザ入力は、手のジェスチャを含む。
1つ以上の実施形態では、バイオメトリック追跡デバイスは、眼追跡システムを備えて
いる。1つ以上の実施形態では、バイオメトリック追跡デバイスは、触知デバイスを備え
ている。1つ以上の実施形態では、バイオメトリック追跡デバイスは、ユーザの眼に関す
る生理学的データを測定するセンサを備えている。
本明細書は、例えば、以下の項目も提供する。
(項目1)
拡張現実デバイスを通して取引を実施する方法であって、前記方法は、
バイオメトリックデータをユーザから捕捉することと、
前記捕捉されたバイオメトリックデータに少なくとも部分的に基づいて、前記ユーザの識別を決定することと、
前記決定された識別に基づいて、前記取引のために前記ユーザを認証することと
を含む、方法。
(項目2)
前記取引に関するデータの組を金融機関に伝送することをさらに含む、項目1に記載の方法。
(項目3)
前記バイオメトリックデータは、虹彩パターンである、項目1に記載の方法。
(項目4)
前記バイオメトリックデータは、前記ユーザの音声記録である、項目1に記載の方法。
(項目5)
前記バイオメトリックデータは、網膜署名である、項目1に記載の方法。
(項目6)
前記バイオメトリックデータは、前記ユーザの皮膚に関連付けられた特性である、項目1に記載の方法。
(項目7)
前記バイオメトリックデータは、前記ユーザの眼の移動を捕捉する1つ以上の眼追跡カメラを通して捕捉される、項目1に記載の方法。
(項目8)
前記バイオメトリックデータは、前記ユーザの眼の移動のパターンである、項目1に記載の方法。
(項目9)
前記バイオメトリックデータは、前記ユーザの眼の瞬きパターンである、項目1に記載の方法。
(項目10)
前記拡張現実デバイスは、頭部搭載型であり、前記拡張現実デバイスは、前記ユーザのために個々に較正される、項目1に記載の方法。
(項目11)
前記バイオメトリックデータは、前記ユーザに関する所定のデータと比較される、項目1に記載の方法。
(項目12)
前記所定のデータは、前記ユーザの眼の既知の署名移動である、項目11に記載の方法。
(項目13)
前記所定のデータは、既知の虹彩パターンである、項目11に記載の方法。
(項目14)
前記所定のデータは、既知の網膜パターンである、項目11に記載の方法。
(項目15)
前記ユーザが取引を行いたいという願望を検出することと、
前記検出された願望に少なくとも部分的に基づいて、前記ユーザから前記バイオメトリックデータを要求することと、
前記バイオメトリックデータを所定のバイオメトリックデータと比較し、結果を生成することであって、前記ユーザは、前記結果に少なくとも部分的に基づいて認証される、ことと
をさらに含む、項目1に記載の方法。
(項目16)
前記取引は、商取引である、項目1に記載の方法。
(項目17)
前記ユーザの認証を前記ユーザに関連付けられた金融機関に通信することをさらに含み、前記金融機関は、前記認証に少なくとも部分的に基づいて、前記ユーザの代わりに支払を行う、項目1に記載の方法。
(項目18)
前記金融機関は、前記支払を前記ユーザによって示される1つ以上の販売業者に伝送する、項目17に記載の方法。
(項目19)
前記拡張現実デバイスに関連付けられた中断イベントまたは取引イベントを検出することと、
前記検出されたイベントに少なくとも部分的に基づいて、前記ユーザを再認証するために、新しいバイオメトリックデータを前記ユーザから捕捉することと
をさらに含む、項目1に記載の方法。
(項目20)
前記アクティビティの中断は、前記ユーザの頭部からの前記拡張現実デバイスの除去に少なくとも部分的に基づいて、検出される、項目19に記載の方法。
(項目21)
前記アクティビティの中断は、前記拡張現実デバイスのネットワークとの接続性の喪失に少なくとも部分的に基づいて、検出される、項目19に記載の方法。
(項目22)
前記取引イベントは、前記ユーザによる取引の明示的承認に少なくとも部分的に基づいて、検出される、項目19に記載の方法。
(項目23)
前記取引イベントは、前記ユーザの注視に関連付けられたヒートマップに少なくとも部分的に基づいて、検出される、項目19に記載の方法。
(項目24)
前記取引イベントは、前記拡張現実デバイスを通して受信されるユーザ入力に少なくとも部分的に基づいて、検出される、項目19に記載の方法。
(項目25)
前記ユーザ入力は、眼のジェスチャを含む、項目24に記載の方法。
(項目26)
前記ユーザ入力は、手のジェスチャを含む、項目24に記載の方法。
(項目27)
前記方法ステップを実装する手段を有するシステムとして実装される項目1-26に記載の方法。
(項目28)
前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備えているコンピュータプログラム製品として実装される項目1-26に記載の方法。
本発明の追加のならびに他の目的、特徴、および利点は、発明を実施するための形態、
図面、および請求項に説明される。
図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、必ずしも正確
な縮尺で描かれておらず、同様の構造または機能の要素は、図全体を通して同様の参照番
号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点
ならびに対象を得る方法をより深く理解するために、簡単に前述された発明を実施するた
めの形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えら
れるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、そ
の範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通
して追加の具体性および詳細とともに記載ならびに説明されるであろう。
図1は、ユーザに表示されている例示的拡張現実場面を図示する。 図2A-2Dは、例示的拡張現実デバイスの種々の構成を図示する。 図2A-2Dは、例示的拡張現実デバイスの種々の構成を図示する。 図2A-2Dは、例示的拡張現実デバイスの種々の構成を図示する。 図2A-2Dは、例示的拡張現実デバイスの種々の構成を図示する。 図3は、一実施形態による、クラウド内の1つ以上のサーバと通信する拡張現実デバイスを図示する。 図4A-4Dは、特定のユーザのための拡張現実デバイスを構成するために行われる種々の眼および頭部の測定を図示する。 図5は、一実施形態による、拡張現実デバイスの種々のコンポーネントの平面図を示す。 図6は、一実施形態による、商取引を実施するための拡張現実システムのシステムアーキテクチャを示す。 図7は、拡張現実デバイスを通して商取引を実施する方法を描写する例示的フローチャートである。 図8Aおよび8Bは、一実施形態による、ユーザを識別するための例示的眼の識別方法を図示する。 図8Aおよび8Bは、一実施形態による、ユーザを識別するための例示的眼の識別方法を図示する。 図9は、一実施形態による、眼移動を使用して、ユーザを認証する方法を描写する例示的フローチャートを図示する。 図10A-10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A-10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A-10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A-10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A-10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A-10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A-10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A-10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A-10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。
本発明の種々の実施形態は、単一実施形態または複数の実施形態における、電子回路設
計のマルチシナリオ物理認知設計を実装する方法、システム、および製造品を対象とする
。本発明の他の目的、特徴、および利点は、発明を実施するための形態、図面、および請
求項に説明される。
ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発
明の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。留意す
べきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するもの
ではない。本発明のある要素が、既知のコンポーネント(または方法もしくはプロセス)
を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのよう
な既知のコンポーネント(または方法もしくはプロセス)のそれらの部分のみ、説明され
、そのような既知のコンポーネント(または方法もしくはプロセス)の他の部分の詳細な
説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は
、例証として本明細書に参照されるコンポーネントの現在および将来的既知の均等物を包
含する。
開示されるのは、ARユーザに関連付けられたバイオメトリックデータを追跡し、バイ
オメトリックデータを利用して、商取引を補助する方法およびシステムである。1つ以上
の実施形態では、ARデバイスは、眼の識別技法(例えば、虹彩パターン、両眼離反運動
、眼の運動、錐体細胞および桿体細胞のパターン、眼移動のパターン等)を利用して、購
入のためにユーザを認証し得る。有利には、このタイプのユーザ認証は、商取引を実施す
ることにおける摩擦コストを最小化し、ユーザが、最小限の努力および/または中断を伴
って、シームレスに購入を行うことを可能にする(例えば、実店舗、オンラインストア、
広告等に応答して)。以下の開示は、主に、眼関連バイオメトリックデータに基づく認証
に焦点を当てるが、他のタイプのバイオメトリックデータも、他の実施形態では、認証目
的のために同様に使用され得ることを理解されたい。種々の実施形態は、以下に説明され
るであろうように、拡張現実(AR)システムの状況における売買を実施する新しい概念
図式について議論するが、本明細書に開示される技法は、任意の既存および/または公知
のARシステムから独立して使用され得ることを理解されたい。したがって、以下に議論
される例は、例示目的のためにすぎず、本発明は、ARシステムに限定されるものとして
読まれるべきではない。
図2A-2Dを参照すると、いくつかの一般的コンポーネントオプションが、図示され
る。図2A-2Dの議論が続く発明を実施するための形態の一部では、種々のシステム、
サブシステム、およびコンポーネントは、ヒトVRならびに/またはARのための高品質
かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される
図2Aに示されるように、ARシステムユーザ60は、ユーザの眼の正面に位置付けら
れるARディスプレイシステム62に結合されるフレーム64構造を装着して描写される
。スピーカ66が、描写される構成においてフレーム64に結合され、ユーザの外耳道に
隣接して位置付けられる(一実施形態では、別のスピーカ(図示せず)が、ユーザの他方
の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。ディスプレ
イ62は、有線導線または無線接続性等によって、ローカル処理およびデータモジュール
に動作可能に結合され68、ローカル処理およびデータモジュールは、フレーム64に固
定して取り付けられるか、図2Bの実施形態に示されるようにヘルメットまたは帽子80
に固定して取り付けられるか、ヘッドホン内に埋設されるか、図2Cの実施形態に示され
るようにリュック式構成においてユーザ60の胴体82に除去可能に取り付けられるか、
または図2Dの実施形態に示されるようにベルト結合式構成においてユーザ60の腰84
に除去可能に取り付けられる等、種々の構成において搭載され得る。
ローカル処理およびデータモジュール70は、電力効率的プロセッサまたはコントロー
ラと、フラッシュメモリ等のデジタルメモリとを備え得、両方とも、データの処理、キャ
ッシュ、および記憶を補助するために利用され得、データは、a)画像捕捉デバイス(カ
メラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無
線デバイス、および/または、ジャイロスコープ等のフレーム64に動作可能に結合され
得る、センサから捕捉され、および/またはb)おそらく、そのような処理もしくは読み
出し後、ディスプレイ62への通過のために、遠隔処理モジュール72および/または遠
隔データリポジトリ74を使用して、取得ならびに/もしくは処理される。ローカル処理
およびデータモジュール70は、これらの遠隔モジュール(72、74)が、互いに動作
可能に結合され、ローカル処理およびデータモジュール70へのリソースとして利用可能
であるように、有線または無線通信リンク等を介して、遠隔処理モジュール72および遠
隔データリポジトリ74に動作可能に結合(76、78)され得る。
一実施形態では、遠隔処理モジュール72は、データおよび/または画像情報を分析な
らびに処理するように構成される1つ以上の比較的に高度なプロセッサまたはコントロー
ラを備え得る。一実施形態では、遠隔データリポジトリ74は、インターネットまたは「
クラウド」リソース構成内の他のネットワーキング構成を通して利用可能であり得る比較
的に大規模なデジタルデータ記憶設備を備え得る。一実施形態では、全てのデータが、ロ
ーカル処理およびデータモジュール内に記憶され、全ての計算が、そこで行われ、それは
、任意の遠隔モジュールを伴わない完全自律的使用を可能にする。
図2A-2Dを参照して説明されるように、ARシステムは、ARユーザおよび周囲環
境についてのデータを収集する種々のデバイスから入力を継続的に受信する。ここで図3
を参照すると、例示的拡張現実ディスプレイデバイスの種々のコンポーネントが、説明さ
れるであろう。他の実施形態が、追加のコンポーネントを有し得ることを理解されたい。
それにもかかわらず、図3は、種々のコンポーネントおよびARデバイスによって収集さ
れ得るデータのタイプの基本概念を提供する。
ここで図3を参照すると、概略は、クラウドコンピューティングアセット46とローカ
ル処理アセット(308、120)との間の協調を図示する。一実施形態では、クラウド
46アセットは、有線または無線ネットワーキング(40、42)を介して、直接、ユー
ザの頭部搭載型デバイス120またはベルト308に結合されるように構成される構造内
に格納され得るプロセッサおよびメモリ構成等のローカルコンピューティングアセット(
120、308)の一方または両方に動作可能に結合される(無線が、移動性のために好
ましく、有線は、所望され得るある高帯域幅または高データ量転送のために好ましい)。
ユーザにローカルのこれらのコンピューティングアセットは、同様に、有線および/また
は無線接続性構成44を介して、互いにも動作可能に結合され得る。一実施形態では、低
慣性および小型サイズ頭部搭載型サブシステム120を維持するために、ユーザとクラウ
ド46との間の一次転送は、ベルトベースのサブシステム308とクラウドとの間のリン
クを介し得、頭部搭載型サブシステム120は、例えば、パーソナルコンピューティング
周辺接続性用途において現在採用されているように、主に、超広帯域(「UWB」)接続
性等の無線接続性を使用して、ベルトベースのサブシステム308にデータテザリングさ
れる。クラウド46を通して、ARディスプレイシステム120は、クラウド内にホスト
された1つ以上のARサーバ110と相互作用し得る。種々のARサーバ110は、サー
バ110が互いに通信することを可能にする、通信リンク115を有し得る。
効率的ローカルおよび遠隔処理協調と、ユーザインターフェースまたはユーザ「ディス
プレイデバイス」もしくはその変形例等のユーザのための適切なディスプレイデバイスと
を用いることで、ユーザの現在の実際または仮想場所に関連するある世界の側面が、ユー
ザに転送もしくは「パス」され、効率的方式で更新され得る。言い換えると、世界のマッ
プは、部分的に、ユーザのARシステム上に常駐し、部分的に、クラウドリソース上に常
駐し得る記憶場所で継続的に更新される。マップ(パス可能世界モデルとも称される)は
、ラスタ画像、3Dおよび2Dポイント、パラメータ情報、ならびに実世界についての他
の情報を備えている大型データベースであり得る。ARユーザがその実環境(例えば、カ
メラ、センサ、IMU等を通して)についてのますます多くの情報を継続的に捕捉するに
つれて、マップは、ますます正確になる。
本開示により関連して、図2A-2Dに説明されるものに類似するARシステムは、有
利には、ARシステムを通して追跡されたバイオメトリックデータの組に基づいて、ユー
ザを固有に識別するために使用され得るユーザの眼への固有のアクセスを提供する。ユー
ザの眼へのこの先例のないアクセスは、必然的に、種々のアプリケーションにふさわしい
もにする。ARデバイスが、ユーザが3D仮想コンテンツを知覚することを可能にするた
めに、ユーザの眼と重要な相互作用を果たし、多くの実施形態では、ユーザの眼に関連す
る種々のバイオメトリック(例えば、両眼離反運動、眼の運動、桿体細胞および錐体細胞
のパターン、眼移動のパターン等)を追跡するならば、得られた追跡データは、有利には
、以下にさらに詳細に説明されるであろうように、種々の取引のためのユーザ識別および
認証において使用され得る。
ARデバイスは、典型的には、特定のユーザの頭部のために適合され、光学コンポーネ
ントは、ユーザの眼と整列させられる。これらの構成ステップは、ユーザが、頭痛、吐き
気、不快感等の任意の生理学的副作用を生じさせずに、最適拡張現実体験が提供されるこ
とを確実にするために、使用され得る。したがって、1つ以上の実施形態では、ARデバ
イスは、各個々のユーザのために構成され(物理的かつデジタルの両方で)、ユーザのた
めに較正され得る。他のシナリオでは、ARデバイスを緩く適合させることによって、種
々のユーザによって快適に使用され得る。例えば、いくつかの実施形態では、ARデバイ
スは、ユーザの眼間の距離、頭部装着型ディスプレイとユーザの眼との間の距離、ユーザ
の眼間の距離、およびユーザの額の曲率を把握する。これらの測定は全て、所与のユーザ
のための適切な頭部装着型ディスプレイシステムを提供するために使用され得る。他の実
施形態では、そのような測定値は、本願に記載される識別および認証機能を行うために必
要ではなくいこともある。
例えば、図4A-4Dを参照すると、ARデバイスは、各ユーザのためにカスタマイズ
され得る。ユーザの頭部形状402が、図4Aに示されるように、1つ以上の実施形態で
は、頭部搭載ARシステムを合わせるときに考慮され得る。同様に、眼用コンポーネント
404(例えば、光学、光学のための構造等)が、図4Bに示されるように、水平および
垂直の両方において、ユーザの快適性のために回転もしくは調節され得るか、またはユー
ザの快適性のために回転され得る。1つ以上の実施形態では、図4Cに示されるように、
ユーザの頭部に対して設定された頭部の回転点406が、ユーザの頭部の構造に基づいて
調節され得る。同様に、瞳孔間距離(IPD)408(すなわち、ユーザの眼間の距離)
が、図4Dに示されるように、補償され得る。
有利には、ユーザ識別および認証の状況では、頭部装着型ARデバイスのこの側面は、
システムが、ユーザの物理的特徴(例えば、眼サイズ、頭部サイズ、眼間の距離等)につ
いての測定の組と、ユーザを容易に識別し、ユーザが1つ以上の商取引を完了することを
可能するために使用され得る、他のデータとをすでに保有しているので、重要である。加
えて、ARシステムは、ARシステムが、ARシステムを使用することが承認されている
ユーザ以外の異なるARユーザによって装着されているとき、それを容易に検出可能であ
り得る。これは、ARシステムが、ユーザの眼を常に監視し、したがって、必要に応じて
、ユーザの識別を認知することを可能にする。
ユーザ上で行われる種々の測定および較正に加え、ARデバイスは、ユーザについての
バイオメトリックデータの組を追跡するように構成され得る。例えば、システムは、眼の
移動、眼移動パターン、瞬きパターン、両眼離反運動、眼色、虹彩パターン、網膜パター
ン、疲労パラメータ、眼色の変化、焦点距離の変化、および光学拡張現実体験をユーザに
提供することにおいて使用され得る多くの他のパラメータを追跡し得る。
図5を参照すると、好適なユーザディスプレイデバイス62の1つの簡略化された実施
形態が、筐体またはフレーム108によってユーザの頭部もしくは眼に搭載され得る、デ
ィスプレイレンズ106を備えているように示される。ディスプレイレンズ106は、ユ
ーザの眼20の正面において筐体108によって位置付けられ、ローカル環境からの少な
くとも一部の光の透過も可能にしながら、投影された光38を眼20の中に跳ね返し、ビ
ーム成形を促進するように構成される1つ以上の透明ミラーを備え得る。描写される実施
形態では、2つの広角マシンビジョンカメラ16が、筐体108に結合され、ユーザの周
囲の環境を撮像する。一実施形態では、これらのカメラ16は、デュアル捕捉可視光/赤
外線光カメラである。
描写される実施形態はまた、示されるように、光38を眼20の中に投影するように構
成されるディスプレイミラーおよび光学を伴う一対の走査式レーザ成形波面(すなわち、
深度のため)光プロジェクタモジュール18(例えば、DLP、ファイバ走査デバイス(
FSD)、LCD等の空間光変調器)を備えている。描写される実施形態はまた、ユーザ
の眼20を追跡し、レンダリングおよびユーザ入力をサポートすることが可能であるよう
に構成される、発光ダイオード「LED」等の赤外線光源26と対にされた2つの小型赤
外線カメラ24を備えている。ディスプレイシステム62はさらに、X、Y、Z軸加速度
計能力と、磁気コンパスおよびX、Y、Z軸ジャイロスコープ能力とを備え、好ましくは
、200Hz等の比較的に高周波数でデータを提供し得るセンサアセンブリ39を特徴と
する。描写されるシステム62はまた、リアルまたは近リアルタイムユーザ頭部姿勢をカ
メラ16からの広角画像情報出力から計算するように構成され得るASIC(特定用途向
け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、および/またはA
RMプロセッサ(高度縮小命令セットマシン)等の頭部姿勢プロセッサ36を備えている
。頭部姿勢プロセッサ36は、カメラ16およびレンダリングエンジン34に動作可能に
結合される(90、92、94;例えば、有線または無線接続性を介して)。
デジタルおよび/またはアナログ処理を実行し、姿勢をセンサアセンブリ39からのジ
ャイロスコープ、コンパス、ならびに/もしくは加速度計データから導出するように構成
される別のプロセッサ32も、示される。描写される実施形態はまた、姿勢および測位を
補助するためのGPS37サブシステムを特徴とする。
最後に、描写される実施形態は、ユーザの世界のビューのために、ユーザのローカルの
レンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するよ
うに構成される、ソフトウェアプログラムを実行するハードウェアを特徴とし得るレンダ
リングエンジン34を備えている。レンダリングエンジン34は、レンダリングされた光
38が、網膜走査ディスプレイに類似する様式において、走査式レーザ配列18を使用し
て投影されるように、センサ姿勢プロセッサ32、画像姿勢プロセッサ36、眼追跡カメ
ラ24、および投影サブシステム18に動作可能に結合される(105、94、100/
102、104、すなわち、有線または無線接続性を介して)。投影された光ビーム38
の波面は、投影された光38の所望の焦点距離と一致するように曲げられ、または集中さ
せられ得る。
小型赤外線眼追跡カメラ24は、眼を追跡し、レンダリングおよびユーザ入力をサポー
トするために利用され得る(すなわち、ユーザが見ている場所、焦点を合わせている深度
等、以下に議論されるように、両眼離反運動が、ユーザの焦点深度を推定するために利用
され得る)。GPS37、ジャイロスコープ、コンパス、および加速度計39が、大まか
な、および/または高速の姿勢推定を提供するために利用され得る。カメラ16画像およ
び姿勢データが、関連付けられたクラウドコンピューティングリソースからのデータと共
に、ローカル世界をマップし、ユーザビューを仮想または拡張現実コミュニティと共有す
るために利用され得る。
図5に特徴とされるディスプレイシステム62内のハードウェアの多くは、ディスプレ
イ106およびユーザの眼20に隣接する筐体108に直接結合されて描写されるが、描
写されるハードウェアコンポーネントは、例えば、図2Dに示されるように、ベルト搭載
型コンポーネント70等の他のコンポーネントに搭載されるか、またはその中に格納され
得る。
一実施形態では、図5に特徴とされるシステム62のコンポーネントは全て、画像姿勢
プロセッサ36、センサ姿勢プロセッサ32、およびレンダリングエンジン34を除き、
ディスプレイ筐体108に直接結合され、後者3つとシステムの残りのコンポーネントと
の間の通信は、超広帯域等の無線通信または有線通信によって行われ得る。描写される筐
体108は、好ましくは、頭部搭載型であり、かつユーザによって装着可能である。それ
は、ユーザの耳の中に挿入され、音をユーザに提供するために利用され得るもの等、スピ
ーカも特徴とし得る。
標準的ARデバイスの主要コンポーネントが説明されたが、ARデバイスは、データを
ユーザおよびその周囲から収集するように構成される多くのコンポーネントを備え得るこ
とを理解されたい。例えば、前述のように、ARデバイスのいくつかの実施形態は、GP
S情報を収集し、ユーザの場所を決定する。他の実施形態では、ARデバイスは、赤外線
カメラを備え、ユーザの眼を追跡する。さらに他の実施形態では、ARデバイスは、視野
カメラを備え、ユーザの環境の画像を捕捉し得、それは、次に、ユーザの物理的空間のマ
ップ(図3に説明されるように、サーバ110のうちの1つ内に含まれる)を構成するた
めに使用され得、それは、システムが、図3に関して簡単に説明されるように、仮想コン
テンツを適切な実在のオブジェクトに関連してレンダリングすることを可能にする。
ユーザの眼20の中への光38の投影に関して、一実施形態では、小型カメラ24が、
ユーザの眼20の中心が幾何学的に近づけられる(verged)場所を測定するために
利用され得、その場所は、一般に、眼20の焦点の位置、すなわち、「焦点深度」と一致
する。眼が近づく全点の3次元表面は、「単視軌跡」と呼ばれる。焦点距離は、有限数の
深度をとることも、無限に変動することもある。両眼離反運動距離(vergence
distance)から投影される光は、対象の眼20に集中させられて現れる一方、両
眼離反運動距離の前または後ろにある光は、ぼやける。
さらに、約0.7ミリメートル未満のビーム直径を伴う空間的にコヒーレントな光は、
眼が焦点を合わせる場所にかかわらず、ヒト眼によって正しく分解されることが発見され
た。この理解を前提として、適切な焦点深度の錯視を生成するために、両眼離反運動が、
小型カメラ24によって追記され得、レンダリングエンジン34および投影サブシステム
18は、単視軌跡上またはそれに近接する全オブジェクトに焦点を合わせて、かつ全他の
オブジェクトをさまざまな程度の焦点ぼけにおいて(すなわち、意図的に生成されたぼけ
を使用して)、レンダリングするために利用され得る。コヒーレント光を眼の中に投影す
るように構成されるシースルー光導波路光学要素が、Lumus,Inc.等の供給業者
によって提供され得る。好ましくは、システム62は、約60フレーム/秒以上のフレー
ムレートにおいてユーザにレンダリングする。前述のように、好ましくは、小型カメラ2
4は、眼追跡のために利用され得、ソフトウェアは、両眼離反運動幾何学形状だけではな
く、ユーザ入力としての役割を果たすための焦点場所の手掛かりも取得するように構成さ
れ得る。好ましくは、そのようなシステムは、昼間または夜間のために好適な輝度および
コントラストで構成される。
一実施形態では、そのようなシステムは、好ましくは、視対象整列のために、約20ミ
リ秒未満の待ち時間、約0.1度未満の角度整列、および約1分の分解能を有し、それは
、ヒト眼のほぼ限界である。ディスプレイシステム62は、GPS要素、光学追跡、コン
パス、加速度計、および/または他のデータ源を伴い、位置ならびに姿勢決定を補助し得
る位置特定システムと統合され得る。位置特定情報は、関連世界のユーザのビュー内にお
ける正確なレンダリングを促進するために利用され得る(すなわち、そのような情報は、
眼鏡がそれらが実世界に対する場所を把握することを促進するであろう)。ARデバイス
の一般的コンポーネントが説明されたが、商取引を実施するためのユーザ識別および認証
に具体的に関する追加の実施形態は、以下に議論されるであろう。
上である程度詳細に議論されたように、商取引を実施するための従来のモデルは、非効
率的かつ煩わしい傾向にあり、多くの場合、ユーザが取引に従事することを妨げる影響を
有する。例えば、あるユーザが、百貨店に居るとする。従来のモデルでは、ユーザは、百
貨店に物理的に入って行き、商品を選択し、列に並び、レジ係を待ち、支払情報および/
または身分証明書を提供し、支払を承認することが要求される。オンラインショッピング
でさえ、おそらくあまり煩雑ではないが、それなりの短所がある。ユーザは、店舗の場所
に物理的に存在する必要はなく、関心のある商品を容易に選択することができるが、支払
は、依然として、多くの場合、クレジットカード情報および認証を要求する。しかしなが
ら、ARデバイスの出現に伴って、ARデバイスが、ユーザの識別を容易に確認し、商取
引を認証することができるので、支払の従来のモデル(例えば、現金、クレジットカード
、金銭トークン等)は、不必要にされ得。
例えば、ARユーザは、小売店の中をのんびりとぶらつき、商品を取り上げ得る。AR
デバイスは、ユーザの識別を確認し、ユーザが購入を欲するかどうかを確認し、単に、店
舗から出て行かせてもよい。1つ以上の実施形態では、ARデバイスは、確認された購入
に基づいて、ユーザの口座から小売店に関連付けられた口座に金額を転送するであろう金
融機関とインターフェースをとり得る。または、別の例では、ARユーザは、特定のブラ
ンドの靴の広告を見ている場合がある。ユーザは、ARデバイスを通して、ユーザが靴の
購入を欲することを示し得る。ARデバイスは、ユーザの識別を確認し、購入を認証し得
る。バックエンドでは、注文が靴のブランドの小売業者に発注され得、小売業者は、単に
、一足の所望の靴をユーザに発送し得る。前述の例によって例証されるように、ARデバ
イスは、ユーザの識別を「把握」しているので(およびARデバイスは、典型的には、全
ての個々のユーザに対して構築およびカスタマイズされる)、金融取引は、容易に認証さ
れ、それによって、売買を実施することと典型的に関連付けられた摩擦コストを大幅に削
減させる。
より具体的には、1つ以上の実施形態では、ARデバイスは、プライバシーおよびセキ
ュリティ目的のために、ユーザの識別試験を周期的に行い得る。上である程度詳細に議論
されたように、ARデバイスは、典型的には、各ユーザのためにカスタマイズされるが、
ユーザのこの周期的識別および認証は、特に商取引を実施する状況におけるセキュリティ
目的のために、またはARデバイスが、未知のユーザによって使用されておらず、かつク
ラウド上のARユーザの口座にリンクされていることを確実にするためのプライバシー目
的のために、必要である。本願は、ユーザ識別および認証が最重要事項である金融/商取
引のためのセキュリティを確実にするためのシステムおよび方法を説明する。同様に、こ
れらのステップは、ユーザプライバシーを確実にするためにも等しく重要である。実際、
これらの識別ステップは、ARデバイスを通して任意のパーソナル/プライベートユーザ
口座(例えば、電子メール、ソーシャルネットワーク、金融口座等)を開くことに先立っ
て使用され得る。
本願に説明される他の実施形態は、盗難防止管理の状況において使用され得る。例えば
、ARデバイスは、ユーザを識別し、ARデバイスが盗まれていないことを確実にし得る
。ARデバイスが未知のユーザを検出する場合、ARデバイスは、ユーザについての捕捉
された情報およびARデバイスの場所をARサーバに直ちに送信し得る。または、他の実
施形態では、ARデバイスが、識別されていない人物によって使用されていることが検出
されている場合、ARデバイスは、完全にシャットダウンし、機密情報が漏出または悪用
されないように、ARデバイスのメモリ内の全コンテンツを自動的に削除し得る。これら
のセキュリティ対策は、ARデバイスがARデバイスの装着者についての多くのタイプの
情報を捕捉することが可能であるので、ARデバイスの窃盗を防止し得る。
1つ以上の実施形態では、以下に説明される実施形態は、ARデバイスが、ショッピン
グロボットを遠隔操作することを可能にし得る。例えば、ARデバイスのユーザが識別さ
れると、ARデバイスは、特定の店舗またはフランチャイズ店のネットワークを通して、
ショッピングロボットに接続し、ショッピングロボットと取引を通信し得る。したがって
、ユーザは、店舗内に物理的に居ない場合でも、ARデバイスは、ユーザが認証されると
、プロキシを通して取引を実施し得る。同様に、多くの他のセキュリティおよび/または
プライバシー用途も、想定され得る。
追跡されたバイオメトリックデータを通して識別を行う多くの方法がある。一実施形態
では、追跡されたバイオメトリックデータは、眼移動のパターン、虹彩パターン、両眼離
反運動情報等の眼関連バイオメトリックデータであり得る。要するに、ユーザがパスワー
ドを覚えること、またはあるタイプの識別/証明を提示することを要求するのではなく、
ARデバイスは、自動的に、追跡されたバイオメトリックデータの使用を通して識別を検
証する。ARデバイスがユーザの眼への一定アクセスを有することを前提として、追跡さ
れたデータは、ユーザの識別についての非常に正確かつ個人化された情報を提供するであ
ろうことが予期され、その情報は、固有のユーザ署名と見なされ得る。バイオメトリック
データを追跡し、追跡されたバイオメトリックデータを使用して、ユーザを認証する、異
なる方法についての詳細を掘り下げる前に、1つ以上の外部エンティティ(例えば、金融
機関、販売業者等)と相互作用するARデバイスのシステムアーキテクチャが、提供され
るであろう。
ここで図6を参照すると、全体的ARシステムアーキテクチャが、図示される。ARシ
ステムアーキテクチャは、頭部装着型ARデバイス62と、ARデバイス62のローカル
処理モジュール660と、ネットワーク650と、ARサーバ612と、金融機関620
と、1つ以上の販売業者(622A、622B等)を含む。
前述のように(図5参照)、頭部装着型ARデバイス62は、多くのサブコンポーネン
トを備え、そのうちのいくつかは、ユーザおよび/またはユーザの周囲に関連付けられた
情報を捕捉ならびに/もしくは追跡するように構成される。より具体的には、1つ以上の
実施形態では、頭部装着型ARデバイス62は、1つ以上の眼追跡カメラを備え得る。眼
追跡カメラは、ユーザの眼の移動、両眼離反運動等を追跡し得る。別の実施形態では、眼
追跡カメラは、ユーザの虹彩の写真を捕捉するように構成され得る。他の実施形態では、
頭部装着型ARデバイス62は、他のバイオメトリック情報を捕捉するように構成される
、他のカメラを備え得る。例えば、関連付けられたカメラは、ユーザの眼の形状の画像を
捕捉するように構成され得る。または、別の例では、カメラ(もしくは他の追跡デバイス
)は、ユーザの睫毛に関するデータを捕捉し得る。追跡されたバイオメトリック情報(例
えば、眼のデータ、睫毛のデータ、眼形状データ、眼移動データ、頭部データ、センサデ
ータ、音声データ、指紋データ等)は、ローカル処理モジュール660に伝送され得る。
図2Dに示されるように、1つ以上の実施形態では、ローカル処理モジュール660は、
ARデバイス62のベルトパックの一部であり得る。または、他の実施形態では、ローカ
ル処理モジュールは、頭部装着型ARデバイス62の筐体の一部であり得る。
図6に示されるように、ユーザ680の頭部装着型ARデバイス62は、捕捉されたデ
ータを提供するために、ローカル処理モジュール660とインターフェースをとる。1つ
以上の実施形態では、ローカル処理モジュール660は、ARシステムが種々のコンピュ
ーティングタスクを行うことを可能にするプロセッサ664および他のコンポーネント6
52(例えば、メモリ、電源、テレメトリ回路等)を備えている。本開示の有意なことと
して、ローカル処理モジュール660はまた、識別モジュール614を備え、頭部装着型
ARデバイス62の1つ以上の追跡デバイスによって追跡された情報に基づいて、ユーザ
を識別し得る。
1つ以上の実施形態では、識別モジュール614は、データベース652を備え、デー
タの組を記憶し、それを用いて、ユーザを識別および/または認証する。例えば、図示さ
れる実施形態では、データベース652は、所定のデータの組および/または所定の認証
詳細もしくはパターンを記憶し得るマッピングテーブル670を備えている。1つ以上の
実施形態では、捕捉されたデータは、マッピングテーブル670に記憶される所定のデー
タと比較され、ユーザ680の識別を決定し得る。同様に、データベース652は、ユー
ザ680の識別/認証を行うことにおいて使用されることになる他のデータを備え得る。
1つ以上の実施形態では、データベース652は、以下にさらに詳細に説明されるであろ
うように、1つ以上の眼試験を記憶し、ユーザの識別を検証し得る。
1つ以上の実施形態では、ローカル処理モジュール660は、クラウドネットワーク6
50を通してARサーバ612と通信する。図6に図示されないが、ARサーバ612は
、現実的拡張現実体験をユーザ680に提供するために重要である多くのコンポーネント
/回路を備えている。概略すると、ARサーバ612は、仮想コンテンツを実世界の物理
的オブジェクトと関連してレンダリングするために、ARデバイス62のローカル処理モ
ジュール660によって頻繁に参照される、物理的世界のマップ690を備えている。し
たがって、ARサーバ612は、多数のユーザを通して捕捉された情報に基づいて構築さ
れ、実世界のますます成長するマップ690を構築する。他の実施形態では、ARサーバ
612は、第三者によって構築および維持され得る、マップ690を単にホストし得る。
1つ以上の実施形態では、ARサーバ612はまた、個々のユーザの口座をホストし得
、そこに、ユーザのプライベート捕捉データが供給される。この捕捉されたデータは、1
つ以上の実施形態では、データベース654内に記憶され得る。1つ以上の実施形態では
、データベース654は、ユーザ情報610、ユーザ680についての履歴データ615
、ユーザ選好616、および他のエンティティ認証情報618を記憶し得る。実際、AR
システムの他の実施形態は、ユーザに個人的な多くの他のタイプの情報を備え得る。ユー
ザ情報610は、1つ以上の実施形態では、個人の略歴の組(例えば、氏名、年齢、性別
、住所、場所等)を含み得る。
ユーザ680についての履歴データ615は、ユーザによって行われた以前の購入およ
び/または取引を指し得る。1つ以上の実施形態では、ユーザ選好616は、関心事項の
組(例えば、ショッピング、アクティビティ、旅行等)および/またはユーザについての
購入選好(例えば、アクセサリー、関心のあるブランド、ショッピングカテゴリ等)を含
み得る。1つ以上の実施形態では、ARユーザの挙動データは、システムにユーザの選好
および/または購入パターンを知らせるために使用され得る。他のエンティティ認証情報
618は、ユーザが外部口座へのアクセスが正常に認証されたことを証明するためのユー
ザの認証証明書を指し得る(例えば、銀行認証情報、種々のウェブサイトの口座認証情報
等)
1つ以上の実施形態では、ARデバイス62を通して捕捉されたデータ、過去のアクテ
ィビティを通して追跡されたデータ、ユーザに関連付けられた売買データ等が、ユーザの
挙動パターンを認識し、および/または理解するために分析され得る。これらの機能は、
1つ以上の実施形態では、プライバシーおよびセキュリティに配慮した様式において、第
三者によって行われ得る。
データベース654はまた、ARサーバ612がユーザに特定の金融機関および/また
は第三者エンティティと通信することを可能にする他のエンティティ認証情報618を記
憶し得る。例えば、他のエンティティ認証情報618は、ユーザの銀行情報(例えば、銀
行名、口座情報等)を指し得る。この情報は、次に、金融情報、第三者エンティティ、販
売業者等と通信するために使用され得る。
1つ以上の実施形態では、ARサーバ612は、取引を完了するために、1つ以上の金
融機関620と通信し得る。金融機関は、ユーザの金融情報を有し得る。1つ以上の実施
形態では、金融機関は、セキュリティ目的のために、ユーザの認証情報の第2の検証を行
い得る。ユーザが認証されると、ARサーバ612は、認証され、金融機関620と通信
し得る。ユーザが商品630の特定の購入のために認証される場合、金融機関620は、
ユーザが認証されると、直接、1つ以上の販売業者(622A、622B等)と通信し、
直接、金額を販売業者に伝送し得る。他の実施形態では(図示せず)、ARサーバ612
は、直接、販売業者と通信し、かつ1つ以上の購入に関するデータを通信し得る。
いくつかの実施形態では、ユーザ680は、1つ以上の金融取引を進めるために、AR
サーバ612に接続する必要がない場合があることを理解されたい。例えば、いくつかの
実施形態では、ARデバイス62は、複数の電子商取引サイト等の「オフラインブラウジ
ング」を可能にし得、ユーザ680は、オフラインIDを通して、関心のある1つ以上の
商品を選択することが可能であり得る。金融機関620または販売業者622は、その特
定の取引のために生成される乱数発生器を有し得、それは、ARデバイス62がネットワ
ーク650に接続されると、後に検証され得る。言い換えると、ARデバイス62がAR
サーバに接続していない場合でも、システムは、取引をオフラインで確認し、次いで、追
加の情報(例えば、ランダムに生成された数字)を使用して、後に購入を有効にし得る。
これは、ARデバイス62が、ユーザが現時点でARサーバ612および/または金融機
関もしくは販売業者に接続されていない場合でも、必要な商取引に参加することを可能に
する。
1つ以上の実施形態では、販売業者(622A、622B等)は、ARデバイス62を
通して購入を行うこの新しい概念図式を可能にする、ARサーバ612および/または金
融機関620と事前に確立された関係を有し得る。前述の実施形態は、例証目的のためだ
けに提供され、他の実施形態は、より多いまたはより少ないコンポーネントを備え得るこ
とを理解されたい。
ここで図7を参照すると、ARデバイス62を通して商取引を実施する例示的フローチ
ャートが、提供される。702では、取引に関する入力が、受信され得る。例えば、ユー
ザは、アイテムの購入に関心があることを明示的に示し得る(例えば、コマンド、ジェス
チャ等を通して)。他の実施形態では、ARシステムは、過去の購入、ユーザの関心等に
基づいて、購入をARユーザに提案し、ユーザからの確認を受信し得る。さらに他の実施
形態では、ARシステムは、種々の商品の「ヒートマップ」に基づいて、関心を査定し得
る。詳しく説明すると、ARデバイス62は、ユーザが見ている場所および見ている時間
を把握しているので、ARデバイス62は、ユーザの商品への関心を決定するために、ユ
ーザが種々の仮想および/または実オブジェクトを見ていた時間を決定することが可能で
あり得る。例えば、ユーザが特定のブランドの仮想広告を見ていた場合、ARデバイス6
2は、ユーザが特定の製品を見ていた時間を決定することによって、ユーザの関心を計測
し得る。1つ以上の実施形態では、ARシステムは、1人以上のユーザが特定の製品を見
ていた時間に基づいて、ヒートマップを生成し得る。ヒートマップが特定の製品への関心
を示す(例えば、特定の商品を見ていた時間量が所定の閾値時間量を超える)場合、AR
デバイス62は、製品の購入についてARユーザから確認を要求し得る。
704では、ARデバイス62は、ユーザ識別プロトコルを行い得る。以下にさらに詳
細に説明されるであろうように、多くのタイプのユーザ識別プロトコルがあり得る。1つ
以上の実施形態では、ARデバイス62は、ユーザが検証されるかどうかを決定するため
に、単に、眼移動に基づいて、「パスワード」を要求し得る。別の実施形態では、ARデ
バイス62は、ユーザの虹彩の写真を捕捉し、ユーザがARデバイス62(およびARデ
バイス62にリンクされた口座)の有効ユーザであるかどうかを確認し得る。別の実施形
態では、ARデバイス62は、ユーザの頭部に留まっていたARデバイス62の連続性を
監視し得る(例えば、ユーザがARデバイス62を全く除去していない場合、ユーザが同
一である可能性が高い)。1つ以上の実施形態では、ARデバイス62は、ユーザ識別プ
ロトコルに基づいて、虹彩画像を周期的に捕捉するか、またはユーザがARデバイス62
の検証されたユーザであることを確実にするために試験を周期的に行い得る。本明細書に
議論されるように、バイオメトリックデータを通してユーザを識別するための多くの方法
があり、いくつかの例示的方法は、以下にさらに説明されるであろう。
いくつかの実施形態では、識別プロトコルは、ユーザの一定の識別(例えば、眼の移動
パターン、皮膚との接触等)であり得る。他の実施形態では、識別プロトコルは、単に、
1回限りの識別であり得る(任意の識別方法を通して)。したがって、いくつかの実施形
態では、ARシステムがユーザを1回識別すると、同一ユーザは、介入イベントが(例え
ば、ユーザがARデバイス62を除去する、ネットワーク接続性の中断等)生じない限り
、識別される必要がないこともある。705では、ARデバイス62は、識別プロトコル
がバイオメトリックデータの捕捉を要求するかどうかを決定し得る。ユーザプロトコルが
、バイオメトリックデータが捕捉されることを要求する場合、ARデバイスは、バイオメ
トリックデータを捕捉し得る。そうでなければ、ARデバイス62は、非バイオメトリッ
ク捕捉識別方法を通してユーザの識別を進め得る。
706では、ユーザ識別プロトコルに基づいて、バイオメトリックデータが、捕捉され
得る。例えば、ユーザ識別プロトコルが、既知のパターンを検出するための眼の試験であ
る場合、ARデバイス62は、1つ以上の眼追跡カメラを通して、ユーザの眼の移動を追
跡し得る。捕捉された移動は、「パスワード」または署名的眼移動と相関され、ユーザが
検証されるかどうかを決定し得る。または、ユーザ識別プロトコルが虹彩捕捉である場合
、虹彩の画像が、捕捉され、ユーザの既知の画像と相関され得る。または、ARユーザが
ARデバイス62を装着する度に、虹彩捕捉もしくは眼試験が、行われ、ユーザの識別を
検証し得る。バイオメトリックデータは、いくつかの実施形態では、眼関連であり得るか
、または他のタイプのバイオメトリックデータであり得ることを理解されたい。例えば、
バイオメトリックデータは、1つ以上の実施形態では、音声であり得る。1つ以上の実施
形態では、バイオメトリックデータは、睫毛関連データもしくは眼形状データであり得る
。他のユーザからユーザを固有に識別するために使用され得る任意のタイプのバイオメト
リックデータが、使用され得る。
708では、バイオメトリックデータが、所定のユーザ識別データと比較され、ユーザ
を識別し得る。または、ユーザ識別がバイオメトリックデータを要求しない場合、ARデ
バイス62は、例えば、ユーザがARデバイス62を外していないことを決定し、したが
って、ユーザが以前に識別されたユーザと同一であることを示し得る。ユーザが識別され
る場合、ARデバイス62は、710に進み、情報を1つ以上の金融機関に伝送する。
ユーザが識別されない場合、ARデバイス62は、別のユーザ識別プロトコルを行い、
またはそうでなければ、ユーザが取引を行うことを妨害し得る。ユーザが識別される場合
、所望の商品に関するデータが、710において、クラウドおよび金融機関に伝送され得
る。例えば、上の例に従って、所望の靴についての情報(例えば、製品番号、所望の数量
、ユーザについての情報、発送先住所、ユーザ口座等)が、販売業者および/または金融
機関に通信され得る。
712では、ARシステムは、金融機関から、支払が完了し、および/または承認され
たことの確認を受信し得る。714では、確認メッセージは、購入が完了したことを確認
するために、ユーザに表示され得る。
前述のように、1つ以上の実施形態では、検証目的のために(金融取引および他の目的
のために)ユーザを識別する1つのアプローチは、ユーザ識別試験を周期的に実施するこ
とであり得る。1つ以上の実施形態では、ユーザ識別方法は、眼関連データを利用して、
ユーザ識別試験を完了し得る。ARデバイス62は、ユーザの眼の移動を継続的に追跡す
る眼追跡カメラを装備しているので、眼移動の既知のパターンが、眼試験として使用され
、ユーザを認識および/または識別し得る。例えば、パスワードは、容易にコピーまたは
窃盗され得るが、他のユーザの眼の移動もしくは他の生理学的特性を複製することは困難
であり、ARデバイス62の非承認ユーザを識別することを容易にし得る。
1つ以上の実施形態では、ARデバイス62の設定中、システムは、ユーザの入力を用
いて、ユーザに固有の眼移動の既知のパターン(すなわち、眼パスワードに類似する)を
構成し得る。眼移動のこの既知のパターンは、ユーザ識別プロトコルが行われる度に、記
憶および相関され得る。
ここで図8Aおよび8Bの実施形態800を参照すると、ユーザの眼804の例示的眼
パターン802が、提供される。図8Aに示されるように、ARデバイス806は、眼追
跡カメラ(図示せず)を通して、ユーザの眼の移動を追跡し、パターンと眼移動の既知の
パターン(すなわち、眼パスワード)を相関させ得る。眼移動パターンが既知のパターン
に近い場合(閾値以内)、ARデバイス806は、ユーザが取引を実施することを可能に
し得る。図8Aに示されるように、ユーザは、その眼を示されるパターンで移動させ得る
。例証目的のために、線(802)は、眼パターンを表すために描かれる。当然ながら、
実際は、線はなく、眼追跡デバイスは、単に、そのような移動を追跡し、それを所望のデ
ータフォーマットに変換するであろう。
1つ以上の実施形態では、追跡された眼パターンが眼移動の所定の既知のパターンと相
関するかどうかを決定するために、図8Bに示されるものに類似するグリッド904が、
利用され得る。他のそのような技法も同様に、使用され得ることを理解されたい。グリッ
ド904の使用を通して、利用可能な空間を離散化されたエリアに分割することによって
、追跡された眼パターン802が所定のパターン902に最も似ているかどうかを決定す
ることを容易にし得る。例えば、図8Bに示されるように、追跡された眼パターン802
は、多少なりとも、所定のパターン902に従う(所定のパターンに関連付けられた各グ
リッド正方形の中心を接続する太線によって示されるように)。図8Bは、グリッド90
4のかなり簡略化されたバージョンを表すが、各グリッドのサイズは、より正確な決定の
ために減少させられ得ることを理解されたい。
図示される実施形態では、追跡された眼移動が所定のグリッド正方形のエリアを対象と
する場合、パターンが、認識され得る。他の実施形態では、グリッド正方形の大部分が、
ユーザがユーザ識別試験を合格したと見なされる前に、ヒットされる必要があり得る。同
様に、他のそのような閾値が、種々の眼移動追跡プロトコルのために考案され得る。1つ
以上の実施形態では、前述と同様に、瞬きパターンも同様に、利用され得る。例えば、眼
移動パターンを利用するのではなく、眼パスワードは、一連の瞬きまたはユーザの署名を
追跡するための移動と組み合わせられた瞬きであり得る。
ここで図9を参照すると、眼移動署名を検出する例示的プロセスが、説明される。90
2では、眼移動試験が、開始され得る。例えば、ARユーザは、商品を購入することを欲
することを示し得るか、またはARユーザは、ARデバイス62、806を取り外し得、
ARデバイス62、806の装着を再開し得る。別の実施形態では、眼移動試験は、セキ
ュリティ目的のために、周期的に実施され得る。
904では、眼移動パターンが、追跡および受信され得る。例えば、仮想ディスプレイ
画面は、「パスワード入力」命令を表示し得、それは、ユーザがその眼による既知のパタ
ーンを形成することをトリガし得る。
906では、追跡された眼移動は、特定のデータフォーマットに変換され得る。例えば
、グリッドアプローチに戻って参照すると、データは、眼移動によってヒットされたグリ
ッドの座標を示し得る。多くの他のアプローチも同様に、使用され得る。
908では、変換されたデータは、既知の署名的眼移動パターンの所定のデータと比較
され得る。910では、ARシステムは、追跡された眼移動が閾値内で所定のパターンに
一致するかどうかを決定し得る。912では、眼パターンが、閾値内で既知の眼パターン
と一致しないことが決定される場合、ユーザは、試験に不合格となり、購入を行うことを
妨害され得るか、または試験を再び受ける必要があり得る。914では、眼パターンが、
閾値内で既知の眼パターンに一致することが決定される場合、ユーザは、試験に合格し、
購入を行うことが許可され得る。
さらに別のアプローチでは、眼試験を実施するのではなく、ARシステムは、ARユー
ザの眼の写真を周期的に捕捉し、ユーザの眼の捕捉された画像を既知の情報と比較するこ
とによって、眼識別を行い得る。1つ以上の実施形態では、ユーザが購入を行おうとする
とき、ARデバイス62、806は、ユーザに、ユーザに提示される特定の仮想オブジェ
クトを凝視することを要求し得る。これは、ユーザの眼が静止することを可能にし、ユー
ザの眼の画像が、捕捉および比較され得る。眼の写真がユーザの眼の既知の写真と相関す
る場合、ARユーザは、購入を行うことを許可され得る。眼識別技法に関するさらなる詳
細は、弁理士整理番号ML30028.00下で「DEVICES,METHODS A
ND SYSTEMS FOR BIOMETRIC USER RECOGNITIO
N UTILIZING NEURAL NETWORKS」と題された同時係属中の出
願第62/159,593号に提供される。
ARシステムは、概して、ユーザの眼が注視している(または「見ている」)場所およ
びユーザの眼が集中させられている場所を把握する必要があるので、この特徴は、有利に
は、識別目的のために使用され得る。したがって、種々の実施形態では、頭部搭載型ディ
スプレイ(「HMD」)コンポーネントは、ユーザの眼に関する画像情報を捕捉するため
に向けられている1つ以上のカメラを特徴とする。図5に描写されるもの等の一構成では
、ユーザの各眼は、それに集中させられたカメラとともに、閃光を眼の表面上に誘発する
ためのカメラまでの既知のオフセット距離を伴う3つ以上のLEDを(一実施形態では、
示されるように、眼の直下に)有し得る。
各カメラまでの既知のオフセットを伴う、3つ以上のLEDの存在は、三角測量によっ
て、3D空間内のカメラから各閃光ポイントまでの距離を決定することを可能にする。少
なくとも3つの閃光ポイントおよび眼の略球状モデルを使用して、システムは、眼の曲率
を推測することができる。既知の3Dオフセットおよび眼に対する向きを用いて、システ
ムは、ユーザを識別するための使用のための虹彩もしくは網膜の正確な(例えば、画像)
または抽象的(例えば、勾配もしくは他の特徴)テンプレートを形成することができる。
他の実施形態では、眼内およびその上の静脈のパターン等の眼の他の特性もまた、ユーザ
を識別するために使用され得る(例えば、虹彩または網膜テンプレートとともに)。
1つのアプローチでは、虹彩画像識別アプローチが、使用され得る。眼の虹彩内の筋線
維のパターンは、斑点、溝、および環を含む、各個人に対して安定した固有のパターンを
形成する。種々の虹彩特徴は、可視光撮像と比較して、赤外線または近赤外線撮像を使用
して容易に捕捉され得る。システムは、多くの異なる方法において、捕捉された虹彩特徴
を識別コードに変換することができる。目標は、眼から十分に豊富な組織構造を抽出する
ことである。収集されたデータ内の十分な自由度を用いて、システムは、固有のユーザを
理論的に識別することができる。
別のアプローチでは、網膜画像識別が同様に、使用され得る。一実施形態では、HMD
は、操向可能光ファイバケーブルによって操向されるレーザスキャナによって駆動される
回折ディスプレイを備えている。この光ファイバケーブルはまた、眼の内部を視覚化し、
視覚受容体(桿体細胞および錐体細胞)ならびに血管の固有のパターンを有する網膜を撮
像するためにも利用されることができる。これらの桿体細胞および錐体細胞はまた、各個
人に固有のパターンを形成し得、各個人を固有に識別するために使用されることができる
例えば、各人の暗および明血管のパターンは、固有であり、勾配演算子を網膜画像に適
用し、網膜の中心に中心を置かれた標準化されたグリッド内の高低遷移を計数する等の標
準的技法によって、「暗-明」コードに変換されることができる。
したがって、本主題のシステムは、システムによって捕捉または検出されたユーザ特性
をシステムの承認されたユーザのための既知のベースラインユーザ特性を比較することに
よって、高度な正確度および精度を伴って、ユーザを識別するために利用され得る。
さらに他の実施形態では、眼の曲率/サイズも同様に、使用され得る。例えば、この情
報は、異なるユーザの眼が、類似であるが、正確に同一ではないので、ユーザの識別を補
助し得る。他の実施形態では、一時的バイオメトリック情報が、ユーザがストレスにさら
されているときに収集され、既知のデータと相関され得る。例えば、ユーザの心拍数が、
監視され得、ユーザの眼が水の膜を産生しているかどうか、眼が近づき、一緒に焦点に集
中しているかどうか、呼吸パターン、瞬き率、脈拍数等も同様に、ユーザの識別を確認お
よび/または無効にするために使用され得る。
さらに他の実施形態では、ユーザの識別を確認するために(例えば、誤識別が疑われる
場合)、ARシステムは、ARデバイスを通して捕捉された情報(例えば、ARデバイス
62、806の視野カメラを通して捕捉された周囲環境の画像)を相関させ、ユーザが、
GPSおよび環境のマップから導出されるような場所に相関する同じ場面を見ているかど
うかを決定し得る。例えば、ユーザが自宅に居ると考えられる場合、ARシステムは、ユ
ーザの自宅の既知のオブジェクトをユーザの視野カメラを通して見ているものと相関させ
ることによって検証し得る。
前述のAR/ユーザ識別システムは、非常にセキュアな形態のユーザ識別を提供する。
言い換えると、システムは、比較的に高度な正確度および精度を伴って、ユーザを決定す
るために利用され得る。システムは、非常に高度な確実性を伴って、かつ継続的ベースで
(例えば、周期的監視を使用して)、ユーザを把握するために利用されることができるの
で、別個のログインを必要とせずに、種々の金融取引を可能にするために利用されること
ができる。ユーザ識別システムが非常に正確であることを確実にするための1つのアプロ
ーチは、神経ネットワークの使用を通したものであり、弁理士整理番号ML30028.
00下の同時係属中の出願第62/159,593号にさらに詳細に説明されている。
ここで図10A-10Iを参照すると、取引を実施するためのバイオメトリックデータ
を使用する例示的プロセスフロー1000が、図示される。図10Aに示されるように、
ARデバイス1004を装着しているユーザ1002が、店舗の中に歩いて行く。店舗に
居る間、ユーザ1002は、購入に関心があり得る一足の靴1006が目に入り得る。
ここで図10Bを参照すると、ARデバイス1004を通してユーザ1002に見える
靴の例示的ビューが、示される。ユーザの注視が一足の靴1006に集中させられている
ことを検出すると、ARデバイス1004は、一足の靴1006についての詳細(例えば
、ARデバイス1004に同期された製品カタログを通して等)をルックアップし、詳細
を仮想コンテンツ1008として表示し得る。ここで図10Cを参照すると、ARデバイ
ス1004は、仮想コンテンツ1010を表示することによって、ユーザが消費を購入す
ることを欲するかどうかを決定し得る。ユーザ1002は、任意の形態のユーザ入力(例
えば、ジェスチャ、音声、眼制御等)を通して、確認または拒否し得る。
ここで図10Dを参照すると、ユーザが購入を決定したと仮定すると、ARデバイス1
004は、仮想コンテンツ1012を通してパスワードを要求し得る。この時点で、図1
0Eに示されるように、ユーザ1002は、眼署名1016を生成することを始めてもよ
い。1つ以上の実施形態では、仮想グリッド1014が、ユーザに提示され、特定の様式
で眼を移動させることを補助し得る。
図10Fに示されるように、入力された署名1016は、ARシステム1004によっ
て受信され、所定の署名と比較され、ユーザが認証されたユーザであるかどうかを決定し
得る。ユーザが認証される場合、ARデバイス1004は、図10Gに示されるように、
所望の製品に関するデータをネットワーク1018を通してARサーバ1020に、販売
業者1024および金融機関1022に伝送し得る。ARサーバ1020から受信された
確認に基づいて、金融機関1022は、適切な金額を販売業者1024に伝送し得る。
図10Hに示されるように、取引が確認されると、ARデバイス1004は、靴100
6の購入を確認する仮想コンテンツ1026を表示し得る。確認が受信されると、ユーザ
1002は、図10Iに示されるように、所望の靴1006とともに店舗から出て行き得
る。
図10A-10Iのプロセスフローは、例証目的のためだけに本明細書に提示され、限
定として読まれるべきではない、単なる例示的実施形態を表すにすぎないことを理解され
たい。多数の他の実施形態も同様に、想定され得る。例えば、1つ以上の実施形態では、
「パスワード」(例えば、図10D)を要求するのではなく、ARシステムは、ユーザに
、画面上の仮想ドットを凝視することを要求し、ユーザの眼(例えば、網膜、虹彩、眼形
状等)の画像を捕捉し得る。この画像は、次いで、ユーザの眼の既知の画像と相関され得
、ユーザの識別が、確認され得る。ユーザの識別が確認されると、ARシステムは、図1
0Gに示されるように、情報を販売業者1024および金融機関1022に伝送し得る。
同様に、多くの他の類似実施形態も、想定され得る。
前述のように、そのような認証および支払システムは、取引を行うことを従来の支払モ
デルよりはるかに容易にすることを理解されたい。長時間かつ骨の折れる百貨店までの往
復ではなく、ショッピングは、「遊び場」的体験となり、ユーザは、単に、店舗の中に歩
いて行き、任意の数の製品を取り上げ、単に、店舗から出て行き得る。ARシステムは、
容易に追跡されるバイオメトリックデータに基づいて、単純であって、かつ邪魔にならな
い識別チェックのみを要求する一方、支払詳細の大部分を引き受ける。前述のように、識
別チェックは、いくつかの実施形態によると、購入時点で、任意のユーザアクションを要
求しない。
上で詳細に議論されたように、従来のパスワードまたはサインアップ/ログインコード
は、前述のAR/ユーザ識別システムおよび方法を使用して、個々のセキュアな取引から
排除され得る。本主題のシステムは、非常に高度な確実性を伴って、ユーザを事前に識別
/事前に認証することができる。さらに、システムは、周期的監視を使用して、ユーザの
識別を経時的に維持することができる。したがって、識別されたユーザは、そのサイトの
条項についての通知(オーバーレイされたユーザインターフェースアイテムとしてユーザ
に表示されることができる)後、任意のサイトへの瞬間アクセスを有することができる。
一実施形態では、システムは、ユーザがそのサイト上の条件を瞬時に把握するように、ユ
ーザによって事前に決定された標準的条項の組を作成し得る。サイトが本条件(例えば、
標準的条項)の組に準拠しない場合、本主題のシステムは、アクセスまたはそこでの取引
を自動的に許さないこともある。
加えて、前述のAR/ユーザ識別システムは、「少額取引」を促進するために使用され
ることができる。非常に少額のデビットおよびクレジットのみをユーザの金融口座に生成
する少額取引は、典型的には、約数セントまたは1セント未満である。所与のサイト上に
おいて、本主題のシステムは、ユーザが視聴または使用したコンテンツだけではなく、そ
の時間(短いブラウジングは無料であり得るが、ある量を超えると、有料となるであろう
)も確認するように構成され得る。種々の実施形態では、ニュース記事は、1/3セント
であり得、書籍は、1ページあたり1ペニー課金され得、音楽は、1回の視聴あたり10
セントである等。別の実施形態では、広告主が、バナー広告を選択すること、またはアン
ケートを行うことに対してユーザに0.5セントを支払い得る。システムは、取引料金の
わずかなパーセンテージをサービスプロバイダに配分するように構成され得る。
一実施形態では、システムは、ユーザによって制御可能な専用小額取引口座を作成する
ために利用され得、小額取引に関連した資金は、集約され、所定の有意義な金額としてユ
ーザのより従来の金融口座(例えば、オンライン銀行口座)へ/から分配される。小額取
引口座は、定期的間隔(例えば、四半期毎)において、またはあるトリガに応答して(例
えば、ユーザが特定のウェブサイトにおいて数ドルを超えて費やすと)、清算または預金
され得る。
小額取引は、従来の支払概念図式では、典型的には、非実践的かつ煩雑であるが、本明
細書に説明される支払技法に説明されるように、取引がほぼ瞬時のユーザ識別および認証
を通して生じる容易性は、小額取引と典型的に関連付けられた障害の多くを除去する。こ
れは、将来的事業のための収益化の新しい手段を開拓し得る。例えば、音楽、書籍、広告
等を収益化することをより容易にし得る。ユーザは、ニュース記事に1ドルを支払うこと
を躊躇し得るが、数分の1セントのコストの記事についてはあまり躊躇しないこともある
。同様に、これらの取引(小額および高額)を実施することが有意に容易であることを前
提として、広告主および出版社等は、異なるタイプの支払スキームのためのコンテンツを
開拓する可能性がより高まり得る。したがって、ARシステムは、支払およびコンテンツ
の配信の両方を促進し、それによって、フロントエンドおよびバックエンドプロセスの両
方を比較的に簡単なものにする。
本主題のシステムおよび機能性は、拡張現実に焦点を当てた企業によって提供され得る
ので、かつユーザのIDは、非常に確実かつセキュアに把握されるので、ユーザは、その
口座への瞬時のアクセス、金額、支出、支出率、ならびにその支出のグラフィカルおよび
/または地理的マップの3Dビューを提供され得る。そのようなユーザは、支出(例えば
、小額取引)をオフおよびオンにすること等、支出アクセスを瞬時に調節することを可能
にされ得る。
高額支出(すなわち、数ペニーまたはペニーの割合ではなく、数ドルの金額)のために
、種々の実施形態が、本主題のシステム構成を用いて促進され得る。
ユーザは、システムを使用して、その追跡された場所またはユーザ選択されたマップ場
所への配達のために、生鮮食料品を注文し得る。システムはまた、配達が到着する時間を
ユーザに通知することができる(例えば、ARシステム内に行われている配達のビデオを
表示することによって)。ARテレプレゼンスを用いて、ユーザは、その自宅から離れた
オフィスに物理的に位置するが、配達員がその自宅に入らせ、アバタテレプレゼンスによ
って配達員に対して出現し、配達員が製品を配達したことを見届け、次いで、配達員が退
出したことを確認し、アバタテレプレゼンスによってその自宅のドアを施錠することがで
きる。
随意に、システムは、ユーザ製品選好を記憶し、ユーザに、ユーザの好ましい製品に関
連するセールまたは他のプロモーションをアラートし得る。これらの高額支出実施形態に
関して、ユーザは、その口座概要、その口座の全統計、および購買パターンを確認し、そ
れによって、その注文を行う前に、買物の比較を促進することができる。
システムは、眼を追跡するために利用され得るので、「一瞥」による買物を可能にする
こともできる。例えば、ユーザが、オブジェクト(例えば、ホテル内のローブ)を見て、
「口座の金額が$3,000を超えたらこれが欲しい」と言ったとする。システムは、特
定の条件(例えば、口座残高が$3,000を上回る)が満たされると、購入を実行する
であろう。
前述のように、1つ以上の実施形態では、虹彩および/もしくは網膜署名データは、通
信をセキュアにするために使用され得る。そのような実施形態では、本主題のシステムは
、テキスト、画像、およびコンテンツが、ユーザが1つ以上の動的に測定された虹彩なら
びに/もしくは網膜署名に基づいて認証されることができるときのみアクセスを可能にす
る信頼されたセキュアなハードウェアデバイスに選択的に伝送可能であり、かつその上で
表示可能であることを可能にするように構成され得る。ARシステムディスプレイデバイ
スは、直接ユーザの網膜上に投影するので、意図される受信者(虹彩および/または網膜
署名によって識別される)のみが、保護されたコンテンツを視聴可能となり得、さらに、
視聴デバイスがユーザ眼を能動的に監視するので、動的に読み取られた虹彩および/また
は網膜署名が、コンテンツがユーザの眼に実際に提示されたことの証明として記録され得
る(例えば、おそらく、眼移動の要求されるシーケンスを実行する等、検証アクションに
よって遂行される、デジタル受信の形態として)。
スプーフィング検出は、予期される自然変動のモデルに基づいて、網膜画像の以前の記
録、静的または2D網膜画像、生成された画像等を使用した試みを排除し得る。固有の基
準/ウォーターマークが、網膜上に生成および投影され、監査のための固有の網膜署名を
生成し得る。
前述の金融および通信システムは、より正確かつ精密なユーザ識別から利益を享受し得
る、種々の一般的システムの例として提供される。故に、本明細書に説明されるAR/ユ
ーザ識別システムの使用は、開示される金融および通信システムに限定されず、むしろ、
ユーザ識別を要求する任意のシステムに適用可能である。
本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これら
の例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供
される。種々の変更が、説明される本発明に行われ得、本発明の真の精神および範囲から
逸脱することなく、同等物が置換され得る。加えて、特定の状況、材料、物質組成、プロ
セス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させる
ように、多くの修正が行われ得る。さらに、当業者によって理解されるように、本明細書
で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱す
ることなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、また
はそれらと組み合わせられ得る、個別的なコンポーネントおよび特徴を有する。全てのそ
のような修正は、本開示に関連付けられる請求項の範囲内にあることを目的としている。
本発明は、主題デバイスを使用して行われ得る方法を含む。方法は、そのような好適な
デバイスを提供するという行為を含み得る。そのような提供は、エンドユーザによって行
われ得る。換言すれば、「提供する」行為は、単に、エンドユーザが、主題方法において
必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起
動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は
、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で
実行され得る。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上で記載されてい
る。本発明の他の詳細に関しては、これらは、上で参照された特許および出版物と関連し
て理解されるとともに、概して、当業者によって公知である、または理解され得る。一般
的または論理的に採用されるような追加の行為の観点から、本発明の方法ベースの側面に
関して、同じことが当てはまり得る。
加えて、本発明は、種々の特徴を随意的に組み込むいくつかの例を参照して説明されて
いるが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるも
のに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発
明の真の精神および範囲から逸脱することなく、同等物(本明細書に記載されようと、い
くらか簡単にするために含まれていなかろうと)が置換され得る。加えて、値の範囲が提
供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任
意の他の規定または介在値が、本発明内に包含されることを理解されたい。
また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書
で説明される特徴のうちのいずれか1つ以上のものと組み合わせて、記載および請求され
得ることが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在す
るという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる
請求項で使用されるように、「1つの(「a」、「an」)」、「該(said)」、お
よび「the(the)」という単数形は、特に規定がない限り、複数形の指示参照を含
む。換言すれば、冠詞の使用は、上記の説明ならびに本開示に関連付けられる請求項にお
いて、主題アイテムの「少なくとも1つ」を可能にする。さらに、そのような請求項は、
任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、こ
の記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他
的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすこと
を目的としている。
そのような排他的用語を使用することなく、本開示に関連付けられる請求項での「備え
ている」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴
の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかに
かかわらず、任意の追加の要素を含むことを可能にするものとする。本明細書で具体的に
定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の
有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるもので
ある。
本発明の範疇は、提供される実施例および/または主題の明細書に限定されるものでは
なく、むしろ、本開示に関連付けられる請求項の言葉の範囲のみによって限定されるもの
である。

Claims (48)

  1. 拡張現実(AR)デバイスとローカル処理モジュールとを含むARシステムを通して取引を開始する方法であって、前記方法は、
    前記ARデバイスを装着しているユーザの眼関連バイオメトリックデータを捕捉することであって、前記眼関連バイオメトリックデータは、前記ARデバイスのコンポーネントであり、かつ前記眼関連バイオメトリックデータを追跡するために協働的に動作可能である、少なくとも1つの光源および少なくとも1つのカメラを使用して捕捉される、ことと、
    前記ユーザの注視の方向にある実世界オブジェクトを識別することに応答して、前記ローカル処理モジュールによって、前記ローカル処理モジュールが眼移動ベースのユーザ識別プロトコルを実行することによる眼関連バイオメトリックデータの分析に少なくとも部分的に基づいて、前記ユーザの識別を決定することであって、前記注視は、前記少なくとも1つのカメラによって収集され、かつ前記ローカル処理モジュールによって分析されるデータに基づいて決定され、前記眼移動ベースのユーザ識別プロトコルは、
    所定の眼署名移動パターンに従って前記ユーザの注視を移動させることによって眼移動ベースのパスワードを仮想的に描くように前記ユーザに促す命令を表示することであって、前記所定の眼署名移動パターンは、前記ユーザに固有であり、前記ユーザの注視の方向にある実世界オブジェクトを識別することおよび命令を表示すること前に決定され、命令を表示することの一部として前記ユーザに表示されない、ことと、
    前記表示された命令に応答して前記ユーザが前記ユーザの注視を移動させることによって、前記ユーザの非線形かつ多方向の眼移動を追跡することであって、非線形かつ多方向の仮想線は、前記表示された命令に応答して前記ユーザが前記ユーザの注視を移動させることによって仮想的に描かれる前記ユーザの眼移動パターンを表し、前記追跡された非線形かつ多方向の眼移動は、前記ARデバイスが前記ユーザの頭部に装着されている間に前記ARデバイスの少なくとも1つのカメラを通して捕捉される、ことと
    を含む、ことと、
    前記追跡された非線形かつ多方向の眼移動に基づいて前記ユーザによって仮想的に描かれる前記ユーザの眼移動パターンを表す前記非線形かつ多方向の仮想線を前記所定の眼署名移動パターンと比較することと、
    前記所定の眼署名移動パターンの所定の閾値内にある前記非線形かつ多方向の仮想線に基づいて、前記非線形かつ多方向の仮想線が前記所定の眼署名移動パターンに対応することを決定することと、
    前記非線形かつ多方向の仮想線が前記所定の眼署名移動パターンに対応することを決定することに応答して、前記ローカル処理モジュールによって、前記実世界オブジェクトを購入するための取引を開始するために通信を伝送することであって、前記通信は、少なくとも1つのネットワークを通して、前記決定された識別に基づいて前記取引のために前記ユーザを認証する遠隔サーバに伝送される、ことと
    を含む、方法。
  2. 前記遠隔サーバが、第2のネットワークを通して前記取引に関するデータの組を金融機関のコンピュータに伝送することをさらに含む、請求項1に記載の方法。
  3. 前記眼関連バイオメトリックデータは、前記ARデバイスの前記ユーザの眼の虹彩パターンをさらに含む、請求項1に記載の方法。
  4. 前記ARデバイスのスピーカによって、前記ユーザの音声記録を含むバイオメトリックデータを捕捉することをさらに含む、請求項1に記載の方法。
  5. 前記眼関連バイオメトリックデータは、前記ARデバイスの前記ユーザの眼の網膜署名をさらに含む、請求項1に記載の方法。
  6. 前記ARデバイスによって、前記ユーザの皮膚に関連付けられた特性を含むバイオメトリックデータを捕捉することをさらに含む、請求項1に記載の方法。
  7. 前記眼関連バイオメトリックデータは、前記ユーザの眼の瞬きパターンをさらに含む、請求項1に記載の方法。
  8. 前記ARデバイスは、前記ユーザの頭部および眼に対して個々に較正される、請求項1に記載の方法。
  9. 前記ユーザの前記識別を決定することは、さらに、既知の虹彩パターンに少なくとも部分的に基づいている、請求項1に記載の方法。
  10. 前記ユーザの前記識別を決定することは、さらに、既知の網膜パターンに少なくとも部分的に基づいている、請求項1に記載の方法。
  11. 開始される前記取引は、商取引である、請求項1に記載の方法。
  12. 前記遠隔サーバが、前記ユーザの認証を前記ユーザに関連付けられた金融機関のコンピュータに通信することをさらに含み、前記金融機関の前記コンピュータは、前記遠隔サーバから受信された前記認証に少なくとも部分的に基づいて、前記ユーザの代わりに支払を行う、請求項1に記載の方法。
  13. 前記金融機関の前記コンピュータは、前記支払を前記ユーザによって示される1つ以上の販売業者のコンピュータに伝送する、請求項12に記載の方法。
  14. 前記ローカル処理モジュールが、前記ARデバイスに関連付けられた中断イベントを検出することと、
    前記ARデバイスが、新しいバイオメトリックデータを、前記検出された中断イベントおよび前記新しいバイオメトリックデータに少なくとも部分的に基づいて前記ユーザを再認証するために、前記ユーザから捕捉することと
    をさらに含む、請求項1に記載の方法。
  15. 前記中断イベントは、前記ローカル処理モジュールによって、前記ユーザの頭部からの前記ARデバイスの除去に少なくとも部分的に基づいて、検出される、請求項14に記載の方法。
  16. 前記中断イベントは、前記ローカル処理モジュールによって、前記ARデバイスのネットワークとの接続性の喪失に少なくとも部分的に基づいて、検出される、請求項14に記載の方法。
  17. 前記ユーザの前記注視は、前記ローカル処理モジュールによって、前記ARデバイスを通して提示された前記実世界オブジェクトにおける前記ユーザの注視に関連付けられたヒートマップに少なくとも部分的に基づいて、検出される、請求項1に記載の方法。
  18. 前記ユーザが前記ユーザの注視を移動させることによって仮想的に描かれる前記ユーザの眼移動パターンから生じる前記ユーザの眼移動パターンを表す前記非線形かつ多方向の仮想線は、複数の線形区分を備える、請求項1記載の方法。
  19. 前記非線形かつ多方向の仮想線は、前記所定の眼署名移動パターンの対応する線形区分の所定の閾値内にある前記非線形かつ多方向の仮想線の非線形区分に基づいて前記所定の眼署名移動パターンに対応するように決定される、請求項18に記載の方法。
  20. 前記ユーザの前記注視の方向にある前記実世界オブジェクトの表示の間に、前記命令は、表示され、前記ユーザの非線形かつ多方向の眼移動は、追跡される、請求項1に記載の方法。
  21. 前記所定の眼署名移動パターンは、前記ユーザが前記表示された命令に応答して前記ユーザの注視を移動させることによって前記ユーザの前記非線形かつ多方向の眼移動を追跡する間に、前記ユーザに表示されない、請求項1に記載の方法。
  22. 前記非線形かつ多方向の仮想線のデータのフォーマットを変換することをさらに含み、前記変換されたデータは、仮想グリッドの複数の離散のエリアが、前記ユーザによって描かれる前記非線形かつ多方向の仮想線をもたらす前記非線形かつ多方向の眼移動によって横断されていたことを示す、請求項1に記載の方法。
  23. コンピュータ化された拡張現実(AR)表示システムであって、
    ARデバイスであって、前記ARデバイスは、前記ARデバイスのユーザの頭部に装着されるように構造化され、前記ARデバイスは、眼関連バイオメトリックデータを捕捉するために協働的に動作可能である、少なくとも1つの光源および少なくとも1つのカメラを備える、ARデバイスと、
    前記ARデバイスと通信するローカル処理モジュールと
    を備え、
    前記ARデバイスは、前記ユーザによって装着されている間に、前記少なくとも1つの光源および前記少なくとも1つのカメラによって、前記ユーザの眼関連バイオメトリックデータを追跡するように動作可能であり、
    前記ローカル処理モジュールは、
    前記眼関連バイオメトリックデータを分析することと、
    前記ユーザの注視の方向にある実世界オブジェクトを識別することであって、前記注視は、前記少なくとも1つのカメラによって収集され、かつ前記ローカル処理モジュールによって分析されるデータに基づいて決定される、ことと、
    前記ユーザの前記注視の方向における前記実世界オブジェクトを識別することに応答して、眼移動ベースのユーザ識別プロトコルの実行による眼関連バイオメトリックデータの分析に少なくとも部分的に基づいて、前記ユーザの識別を決定することであって、前記眼移動ベースのユーザ識別プロトコルは、
    所定の眼署名移動パターンに従って前記ユーザの注視を移動させることによって眼移動ベースのパスワードを仮想的に描くように前記ユーザに促す命令を表示することであって、前記所定の眼署名移動パターンは、前記ユーザに固有であり、前記ユーザの注視の方向にある実世界オブジェクトを識別することおよび命令を表示すること前に決定され、命令を表示することの一部として前記ユーザに表示されない、ことと、
    前記表示された命令に応答して前記ユーザが前記ユーザの注視を移動させることによって、前記ユーザの非線形かつ多方向の眼移動を追跡することであって、非線形かつ多方向の仮想線は、前記表示された命令に応答して前記ユーザが前記ユーザの注視を移動させることによって仮想的に描かれる前記ユーザの眼移動パターンを表し、前記追跡された非線形かつ多方向の眼移動は、前記ARデバイスが前記ユーザの前記頭部に装着されている間に前記ARデバイスの少なくとも1つのカメラを通して捕捉される、ことと
    を含む、ことと、
    前記追跡された非線形かつ多方向の眼移動に基づいて前記ユーザによって仮想的に描かれる前記ユーザの眼移動パターンを表す前記非線形かつ多方向の仮想線を前記所定の眼署名移動パターンと比較することと、
    前記所定の眼署名移動パターンの所定の閾値内にある前記非線形かつ多方向の仮想線に基づいて、前記非線形かつ多方向の仮想線が前記所定の眼署名移動パターンに対応することを決定することと、
    前記非線形かつ多方向の仮想線が前記所定の眼署名移動パターンに対応することを決定することに応答して、前記実世界オブジェクトを購入するための取引を開始するために通信を伝送することであって、前記通信は、前記ユーザの前記識別を含み、前記ローカル処理モジュールは、少なくとも1つのネットワークを通して、前記決定された識別に基づいて前記取引のために前記ユーザを認証する遠隔サーバに前記通信を伝送するように動作可能である、ことと
    を行うように動作可能である、AR表示システム。
  24. 前記遠隔サーバをさらに備え、前記遠隔サーバは、前記取引に関するデータの組を金融機関のコンピュータに伝送するように動作可能である、請求項23に記載のAR表示システム。
  25. 前記遠隔サーバをさらに備え、前記遠隔サーバは、ネットワークを通して、前記ユーザの認証のための前記通信のデータを前記ユーザに関連付けられた金融機関のコンピュータに伝送するように構成され、前記金融機関のコンピュータは、前記認証に少なくとも部分的に基づいて、前記ユーザの代わりに支払を行うように構成されている、請求項23に記載のAR表示システム。
  26. 前記金融機関のコンピュータは、前記支払を前記ユーザによって示される1つ以上の販売業者の1つ以上のコンピュータに伝送するように動作可能である、請求項25に記載のAR表示システム。
  27. 前記眼関連バイオメトリックデータは、前記ARデバイスの前記ユーザの眼の虹彩パターンをさらに含む、請求項23に記載のAR表示システム。
  28. 前記ARデバイスは、マイクロホンをさらに備え、前記ARデバイスは、前記ユーザの音声記録を含むバイオメトリックデータを受信するようにさらに構成されている、請求項23に記載のAR表示システム。
  29. 前記眼関連バイオメトリックデータは、前記ARデバイスの前記ユーザの眼の網膜署名をさらに含む、請求項23に記載のAR表示システム。
  30. 前記ARデバイスは、前記ユーザの皮膚に関連付けられた特性を含むバイオメトリックデータを受信するようにさらに構成されている、請求項23に記載のAR表示システム。
  31. 前記眼関連バイオメトリックデータは、前記ユーザの眼の瞬きパターンをさらに含む、請求項23に記載のAR表示システム。
  32. 前記AR表示システムは、前記ユーザのために個々に較正される、請求項23に記載のAR表示システム。
  33. 前記ARデバイスは、前記ユーザの頭部に装着され、前記ユーザの眼サイズ、前記ユーザの頭部サイズ、ならびに前記ユーザの眼間の距離、前記ARデバイスおよび前記ユーザの眼からの距離、および前記ユーザの額の曲率を含む物理特徴に対して較正される、請求項32に記載のAR表示システム。
  34. 前記ユーザの前記識別は、既知の虹彩パターンに少なくとも部分的に基づいて決定される、請求項23に記載のAR表示システム。
  35. 前記ユーザの前記識別は、既知の網膜パターンに少なくとも部分的に基づいて決定される、請求項23に記載のAR表示システム。
  36. 前記取引は、商取引である、請求項23に記載のAR表示システム。
  37. 前記ローカル処理モジュールは、前記ARデバイスに関連付けられた中断イベントを検出するように構成され、前記ARデバイスは、新しい眼関連バイオメトリックデータを、前記検出された中断イベントおよび前記新しい眼関連バイオメトリックデータに少なくとも部分的に基づいて前記ユーザを再認証するために、前記少なくとも1つの光源および前記少なくとも1つのカメラを通して前記ユーザから捕捉するようにさらに構成されている、請求項23に記載のAR表示システム。
  38. 前記中断イベントは、前記ユーザの頭部からの前記ARデバイスの除去を含む、請求項37に記載のAR表示システム。
  39. 前記中断イベントは、前記ARデバイスのネットワークとの接続性の喪失を含む、請求項37に記載のAR表示システム。
  40. 前記ARデバイスは、眼追跡システムを備える、請求項23に記載のAR表示システム。
  41. 前記ARデバイスは、触知デバイスを備える、請求項23に記載のAR表示システム。
  42. 前記ARデバイスは、ユーザの眼に関する生理学的データを測定するセンサを備える、請求項23に記載のAR表示システム。
  43. 前記ローカル処理モジュールは、前記ユーザのウエストに装着されたベルトパックの一部である、請求項23に記載のAR表示システム。
  44. 前記ローカル処理モジュールは、前記ユーザの前記頭部に装着された前記ARデバイスの筐体の一部である、請求項23に記載のAR表示システム。
  45. 前記ユーザが前記ユーザの注視を移動させることから生じる前記ユーザの眼移動パターンを表す前記非線形かつ多方向の仮想線は、複数の線形区分を備える、請求項23に記載のAR表示システム。
  46. 前記非線形かつ多方向の仮想線は、前記所定の眼署名移動パターンの対応する線形区分の所定の閾値内にある前記非線形かつ多方向の仮想線の非線形区分に基づいて前記所定の眼署名移動パターンに対応するように決定される、請求項45に記載のAR表示システム。
  47. 前記眼移動ベースのユーザ識別プロトコルは、前記非線形かつ多方向の仮想線のデータのフォーマットを変換することをさらに含み、前記変換されたデータは、仮想グリッドの複数の離散のエリアが、前記ユーザによって描かれる前記非線形かつ多方向の仮想線をもたらす前記非線形かつ多方向の眼移動によって横断されていたことを示す、請求項23に記載のAR表示システム。
  48. 前記ユーザの前記注視の方向にある前記実世界オブジェクトの表示の間に、前記命令は、表示され、前記ユーザの非線形かつ多方向の眼移動は、追跡される、請求項23に記載のAR表示システム。
JP2021063135A 2015-05-14 2021-04-01 バイオメトリックデータを追跡するための拡張現実システムおよび方法 Active JP7106706B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562161588P 2015-05-14 2015-05-14
US62/161,588 2015-05-14
JP2017558979A JP6863902B2 (ja) 2015-05-14 2016-05-14 バイオメトリックデータを追跡するための拡張現実システムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017558979A Division JP6863902B2 (ja) 2015-05-14 2016-05-14 バイオメトリックデータを追跡するための拡張現実システムおよび方法

Publications (2)

Publication Number Publication Date
JP2021121923A JP2021121923A (ja) 2021-08-26
JP7106706B2 true JP7106706B2 (ja) 2022-07-26

Family

ID=57249401

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017558979A Active JP6863902B2 (ja) 2015-05-14 2016-05-14 バイオメトリックデータを追跡するための拡張現実システムおよび方法
JP2021063135A Active JP7106706B2 (ja) 2015-05-14 2021-04-01 バイオメトリックデータを追跡するための拡張現実システムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017558979A Active JP6863902B2 (ja) 2015-05-14 2016-05-14 バイオメトリックデータを追跡するための拡張現実システムおよび方法

Country Status (8)

Country Link
EP (1) EP3295347A4 (ja)
JP (2) JP6863902B2 (ja)
KR (1) KR102393271B1 (ja)
CN (1) CN107533600A (ja)
AU (1) AU2016262579B2 (ja)
CA (1) CA2984455C (ja)
IL (1) IL255325B (ja)
WO (1) WO2016183541A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066079A (zh) * 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
CN206301289U (zh) * 2016-11-29 2017-07-04 阿里巴巴集团控股有限公司 Vr终端设备
CN108334185A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种头戴显示设备的眼动数据反馈系统
CN106980983A (zh) * 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置
CN107122642A (zh) 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
WO2019031531A1 (ja) * 2017-08-10 2019-02-14 日本電気株式会社 情報取得システム、情報取得方法及び記憶媒体
US11050752B2 (en) 2018-06-07 2021-06-29 Ebay Inc. Virtual reality authentication
EP3772699A1 (en) * 2019-08-09 2021-02-10 Siemens Aktiengesellschaft Method for user verification, communication device and computer program
KR102628102B1 (ko) * 2019-08-16 2024-01-23 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN111104927B (zh) * 2019-12-31 2024-03-22 维沃移动通信有限公司 一种目标人物的信息获取方法及电子设备
JP6839324B1 (ja) * 2020-08-06 2021-03-03 株式会社キューブシステム 入力システム、入力プログラムおよび入力方法
US12008605B2 (en) 2022-02-16 2024-06-11 International Business Machines Corporation Peer-to-peer donation management

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533801A (ja) 2000-05-16 2003-11-11 スイスコム・モバイル・アクチエンゲゼルシヤフト 生物測定学的な身元確認方法及び認証方法
JP2007141002A (ja) 2005-11-18 2007-06-07 Fujitsu Ltd 個人認証方法、個人認証プログラムおよび個人認証装置
JP2011069849A (ja) 2009-09-24 2011-04-07 Brother Industries Ltd ヘッドマウントディスプレイ
JP2012008746A (ja) 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザ端末装置及びショッピングシステム
US20130275309A1 (en) 2012-04-13 2013-10-17 Francis King Hei KWONG Electronic-payment authentication process with an eye-positioning method for unlocking a pattern lock
JP2014092940A (ja) 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031880B2 (en) * 2001-07-10 2015-05-12 Iii Holdings 1, Llc Systems and methods for non-traditional payment using biometric data
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8482859B2 (en) * 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8438110B2 (en) * 2011-03-08 2013-05-07 Bank Of America Corporation Conducting financial transactions based on identification of individuals in an augmented reality environment
US20130030924A1 (en) * 2011-07-28 2013-01-31 American Express Travel Related Services Company, Inc. Systems and methods for generating and using a digital pass
US8988350B2 (en) * 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
US20150012426A1 (en) * 2013-01-04 2015-01-08 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
US10223710B2 (en) * 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
US9100825B2 (en) * 2012-02-28 2015-08-04 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication based on different device capture modalities
US8953850B2 (en) * 2012-08-15 2015-02-10 International Business Machines Corporation Ocular biometric authentication with system verification
US9164580B2 (en) * 2012-08-24 2015-10-20 Microsoft Technology Licensing, Llc Calibration of eye tracking system
US9979547B2 (en) * 2013-05-08 2018-05-22 Google Llc Password management
US9336781B2 (en) * 2013-10-17 2016-05-10 Sri International Content-aware speaker recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533801A (ja) 2000-05-16 2003-11-11 スイスコム・モバイル・アクチエンゲゼルシヤフト 生物測定学的な身元確認方法及び認証方法
JP2007141002A (ja) 2005-11-18 2007-06-07 Fujitsu Ltd 個人認証方法、個人認証プログラムおよび個人認証装置
JP2011069849A (ja) 2009-09-24 2011-04-07 Brother Industries Ltd ヘッドマウントディスプレイ
JP2012008746A (ja) 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザ端末装置及びショッピングシステム
US20130275309A1 (en) 2012-04-13 2013-10-17 Francis King Hei KWONG Electronic-payment authentication process with an eye-positioning method for unlocking a pattern lock
JP2014092940A (ja) 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム

Also Published As

Publication number Publication date
KR102393271B1 (ko) 2022-04-29
CN107533600A (zh) 2018-01-02
CA2984455A1 (en) 2016-11-17
EP3295347A1 (en) 2018-03-21
CA2984455C (en) 2022-02-08
IL255325B (en) 2021-04-29
AU2016262579B2 (en) 2021-06-03
JP6863902B2 (ja) 2021-04-21
JP2021121923A (ja) 2021-08-26
JP2018526701A (ja) 2018-09-13
KR20180008632A (ko) 2018-01-24
WO2016183541A1 (en) 2016-11-17
AU2016262579A1 (en) 2017-11-23
NZ736861A (en) 2021-06-25
IL255325A0 (en) 2017-12-31
EP3295347A4 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
JP7106706B2 (ja) バイオメトリックデータを追跡するための拡張現実システムおよび方法
US20160358181A1 (en) Augmented reality systems and methods for tracking biometric data
US11216965B2 (en) Devices, methods and systems for biometric user recognition utilizing neural networks
JP7416552B2 (ja) バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム
US9038127B2 (en) Physical interaction with virtual objects for DRM
US20180357670A1 (en) Dynamically capturing, transmitting and displaying images based on real-time visual identification of object
NZ736861B2 (en) Augmented reality systems and methods for tracking biometric data
NZ736574B2 (en) Methods for biometric user recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220713

R150 Certificate of patent or registration of utility model

Ref document number: 7106706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150