JP7405800B2 - 眼画像の収集、選択および組み合わせ - Google Patents

眼画像の収集、選択および組み合わせ Download PDF

Info

Publication number
JP7405800B2
JP7405800B2 JP2021130586A JP2021130586A JP7405800B2 JP 7405800 B2 JP7405800 B2 JP 7405800B2 JP 2021130586 A JP2021130586 A JP 2021130586A JP 2021130586 A JP2021130586 A JP 2021130586A JP 7405800 B2 JP7405800 B2 JP 7405800B2
Authority
JP
Japan
Prior art keywords
eye
image
iris code
images
eye images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021130586A
Other languages
English (en)
Other versions
JP2021184289A (ja
Inventor
ケーラー エイドリアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021184289A publication Critical patent/JP2021184289A/ja
Application granted granted Critical
Publication of JP7405800B2 publication Critical patent/JP7405800B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Input (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Collating Specific Patterns (AREA)

Description

(関連出願の相互参照)
本願は、2016年1月19日に出願され、“EYE IMAGE COLLECTION”と題された米国仮出願第62/280,456号、2016年1月19日に出願され、“EYE IMAGE COMBINATION”と題された米国仮出願第62/280,515号、および2016年1月19日に出願され、“EYE IMAGE SET SELECTION”と題された米国仮出願第62/280,437号に対する35U.S.C.§119(e)のもとでの優先権の利益を主張するものであり、上記出願の各々の内容は、その全体が参照により本明細書中に援用される。
本開示は、仮想現実および拡張現実イメージングならびに可視化システムに関し、より具体的には、眼画像を収集および処理するためのシステムおよび方法に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてデジタルまたは仮想画像情報の提示を伴い、または、複合現実「MR」シナリオは、物理的オブジェクトおよび仮想オブジェクトが共存してリアルタイムで相互作用する新しい環境を生成するための実世界と仮想世界の融合を伴う。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VR、AR、またはMR技術を生成することは、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、ならびにMR技術に関連する種々の課題に対処する。
眼画像選択、眼画像収集、および眼画像の組み合わせ等、眼画像を処理することができる、ウェアラブルディスプレイデバイスの実施例が、説明される。
一側面では、眼画像セット選択のための方法が、開示される。本方法は、ハードウェアコンピュータプロセッサの制御下で行われる。本方法は、複数の眼画像を得るステップと、複数の眼画像の眼画像毎に、各眼画像と関連付けられた画質メトリックを判定するステップと、各判定された画質メトリックと画質閾値を比較し、眼画像が画質閾値を超過することを識別するステップであって、画質閾値は、虹彩コードを生成するための画質レベルに対応する、ステップと、複数の眼画像から、それぞれが画質閾値を超過する眼画像のセットを選択するステップと、虹彩コードを生成するために眼画像のセットを利用するステップとを含む。頭部搭載型ディスプレイシステムは、眼画像セット選択のための方法を行うプロセッサを含むことができる。
別の側面では、眼画像収集のための方法が、説明される。本方法は、ハードウェアコンピュータプロセッサの制御下で行われる。本方法は、複数の眼姿勢領域を接続する経路に沿ってグラフィックを表示するステップと、経路に沿った複数の場所における眼画像を得るステップと、少なくとも部分的に、得られた眼画像の少なくともいくつかに基づいて、虹彩コードを生成するステップとを含む。頭部搭載型ディスプレイシステムは、眼画像収集のための方法を行うプロセッサを含むことができる。
別の側面では、眼画像組み合わせのための方法が、説明される。本方法は、ハードウェアコンピュータプロセッサの制御下で行われる。本方法は、複数の眼画像にアクセスするステップと、(1)複数の眼画像の画像融合動作、(2)複数の眼画像上の虹彩コード融合動作、または(1)および(2)の両方を行うステップとを含む。画像融合動作は、複数の眼画像の少なくともいくつかを融合し、ハイブリッド画像を提供するステップと、ハイブリッド虹彩コードをハイブリッド画像から生成するステップとを含む。虹彩コード融合動作は、複数の眼画像内の眼画像の少なくともいくつかに関する虹彩コードを生成するステップと、生成された虹彩コードをマージし、ハイブリッド虹彩コードを提供するステップとを含む。頭部搭載型ディスプレイシステムは、眼画像組み合わせのための方法を行うプロセッサを含むことができる。
本発明は、例えば、以下を提供する。
(項目1)
ウェアラブルディスプレイシステムであって、
前記ウェアラブルディスプレイシステムの装着者から眼画像を捕捉するように構成される画像捕捉デバイスと、
前記眼画像を記憶するように構成される非一過性メモリと、
複数の眼姿勢領域を備えるディスプレイと、
前記非一過性メモリおよび前記ディスプレイと通信するプロセッサであって、前記プロセッサは、
アバタの表示を前記ディスプレイ上の前記複数の眼姿勢領域の第1の眼姿勢領域内に生じさせることと、
眼の第1の眼画像を前記画像捕捉デバイスから得ることであって、前記第1の眼画像は、前記第1の眼姿勢領域と関連付けられている、ことと、
前記第1の眼画像の第1の画質メトリックが第1の画質閾値を超過していることを判定することと、
前記アバタの表示を前記ディスプレイ上の前記複数の眼領域の第2の眼姿勢領域内に生じさせることと、
前記眼の第2の眼画像を前記画像捕捉デバイスから得ることであって、前記第2の眼画像は、第2の眼姿勢領域と関連付けられている、ことと、
前記第2の眼画像の第1の画質メトリックが第2の画質閾値を超過していることを判定することと、
少なくとも部分的に、前記第1の眼画像および前記第2の眼画像に基づいて、前記眼に関する虹彩コードを生成することと、
前記ディスプレイ上における画像の後続表示または前記ウェアラブルディスプレイシステムによるバイオメトリックアプリケーションのために前記生成された虹彩コードを利用することと
を行うようにプログラムされる、プロセッサと
を備える、ウェアラブルディスプレイシステム。
(項目2)
前記プロセッサはさらに、前記ディスプレイ上の前記複数の眼領域内における前記アバタに関する表示モードを受信するようにプログラムされる、項目1に記載のウェアラブルディスプレイシステム。
(項目3)
前記プロセッサはさらに、前記ディスプレイ上の前記第1の眼領域内における前記アバタに関する表示モードを受信するようにプログラムされる、項目1に記載のウェアラブルディスプレイシステム。
(項目4)
前記表示モードは、ランダムモード、順次モード、飛行モード、明滅モード、変動モード、ストーリーモード、またはそれらの組み合わせのうちの少なくとも1つを備える、項目2-3のいずれか1項に記載のウェアラブルディスプレイシステム。
(項目5)
前記第1の画質閾値は、前記第1の眼姿勢領域に関する画質レベルに対応し、
前記第2の画質閾値は、前記第2の眼姿勢領域に関する画質レベルに対応する、
項目1に記載のウェアラブルディスプレイシステム。
(項目6)
前記第1の画質閾値は、前記第1の眼画像に関する画質レベルに対応し、
前記第2の画質閾値は、前記第2の眼画像に関する画質レベルに対応する、
項目1に記載のウェアラブルディスプレイシステム。
(項目7)
前記プロセッサはさらに、
前記アバタの表示を前記ディスプレイ上の前記複数の眼領域の第3の眼姿勢領域内に生じさせることと、
前記眼の第3の眼画像を前記画像捕捉デバイスから得ることであって、前記第3の眼画像は、第3の眼姿勢領域と関連付けられている、ことと、
前記第3の眼画像の第3の画質メトリックが第3の画質閾値を超過しないことを判定することと
を行うようにプログラムされる、項目1に記載のウェアラブルディスプレイシステム。
(項目8)
前記プロセッサはさらに、
前記眼の第4の眼画像を前記画像捕捉デバイスから得ることであって、前記第4の眼画像は、前記第3の眼姿勢領域と関連付けられている、ことと、
前記第4の眼画像の第4の画質メトリックが第3の画質閾値を超過することを判定することと
を行うようにプログラムされる、項目7に記載のウェアラブルディスプレイシステム。
(項目9)
前記眼に関する虹彩コードを判定するために、前記プロセッサは、少なくとも部分的に、前記第1の眼画像、前記第2の眼画像、および前記第4の眼画像に基づいて、前記虹彩コードを判定するようにプログラムされる、項目8に記載のウェアラブルディスプレイシステム。
(項目10)
前記プロセッサはさらに、前記第3の眼画像および前記第4の眼画像を組み合わせ、前記第3の眼姿勢領域に関するハイブリッド眼画像を得るようにプログラムされ、
前記眼に関する虹彩コードを判定するために、前記プロセッサは、少なくとも部分的に、前記第1の眼画像、前記第2の眼画像、および前記ハイブリッド眼画像に基づいて、前記虹彩コードを判定するようにプログラムされる、
項目8に記載のウェアラブルディスプレイシステム。
(項目11)
頭部搭載型ディスプレイシステムであって、
眼画像を捕捉するように構成される画像捕捉デバイスと、
複数の眼姿勢領域を備えるディスプレイと、
前記画像捕捉デバイスおよび前記ディスプレイと通信するプロセッサであって、前記プロセッサは、
第1のグラフィックの表示を前記ディスプレイ上の前記複数の眼姿勢領域の第1の眼姿勢領域内に生じさせることと、
前記第1の眼姿勢領域内の第1の眼画像を前記画像捕捉デバイスから得ることと、
前記第1の眼画像の第1のメトリックが第1の閾値を超過していることを判定することと、
第2のグラフィックの表示を前記ディスプレイ上の前記複数の眼姿勢領域の第2の眼姿勢領域内に生じさせることと、
前記第2の眼姿勢領域内の第2の眼画像を前記画像捕捉デバイスから得ることと、
前記第2の眼画像の第2のメトリックが第2の閾値を超過していることを判定することと
を行うようにプログラムされる、プロセッサと
を備える、頭部搭載型ディスプレイシステム。
(項目12)
前記プロセッサはさらに、
少なくとも部分的に、前記第1の眼画像および前記第2の眼画像に基づいて、虹彩コードを判定することと、
前記ディスプレイ上における画像の表示または前記頭部搭載型ディスプレイシステムによるバイオメトリックアプリケーションのために前記判定された虹彩コードを利用することと
を行うようにプログラムされる、項目11に記載の頭部搭載型ディスプレイシステム。
(項目13)
前記第1の眼画像は、前記頭部搭載型ディスプレイシステムのユーザの第1の眼姿勢に対応する、項目11に記載の頭部搭載型ディスプレイシステム。
(項目14)
前記ディスプレイは、前記第1のグラフィックまたは前記第2のグラフィックを複数の深度平面にわたって前記頭部搭載型ディスプレイシステムのユーザに提示するように構成される、項目11に記載の頭部搭載型ディスプレイシステム。
(項目15)
前記ディスプレイは、複数のスタックされた導波管を備える、項目14に記載の頭部搭載型ディスプレイシステム。
(項目16)
前記ディスプレイは、前記第1のグラフィックまたは前記第2のグラフィックのライトフィールド画像を前記頭部搭載型ディスプレイシステムのユーザに提示するように構成される、項目11に記載の頭部搭載型ディスプレイシステム。
(項目17)
前記第1のグラフィックは、前記ディスプレイ上の前記複数の眼姿勢領域の第1の眼姿勢領域に表示されたとき、前記眼を前記ディスプレイ上の前記複数の眼姿勢領域の第1の眼姿勢領域に向かって指向させ、
前記第2のグラフィックは、前記ディスプレイ上の前記複数の眼姿勢領域の第2の眼姿勢領域に表示されたとき、前記眼を前記ディスプレイ上の前記複数の眼姿勢領域の第2の眼姿勢領域に向かって指向させる、
項目11に記載の頭部搭載型ディスプレイシステム。
(項目18)
前記第2のグラフィックは、前記ディスプレイ上の前記複数の眼姿勢領域の第2の眼姿勢領域に表示されたとき、前記眼の眼姿勢を変化させるように構成される、項目11に記載の頭部搭載型ディスプレイシステム。
(項目19)
前記第1のグラフィックまたは前記第2のグラフィックは、蝶のグラフィカル表現を備える、項目11に記載の頭部搭載型ディスプレイシステム。
(項目20)
前記プロセッサはさらに、
前記ディスプレイ上の前記複数の眼姿勢領域内における前記グラフィックに関する表示モードを受信することであって、前記表示モードは、ランダムモード、順次モード、飛行モード、明滅モード、変動モード、ストーリーモード、またはそれらの組み合わせのうちの少なくとも1つを備える、ことを行うようにプログラムされる、項目11-19のいずれか1項に記載の頭部搭載型ディスプレイシステム。
(項目21)
前記第1の眼姿勢領域は、最小方位角偏向、最大方位角偏向、最小天頂偏向、および最大天頂偏向を備える、眼姿勢領域によって画定される、項目11に記載の頭部搭載型ディスプレイシステム。
(項目22)
前記第1のグラフィックは、前記第2のグラフィックと同一である、項目11に記載の頭部搭載型ディスプレイシステム。
(項目23)
虹彩コードを生成するための方法であって、
プロセッサの制御下で、
複数の眼姿勢領域を接続する経路に沿って、グラフィックを表示するステップと、
前記経路に沿った複数の場所における眼画像を得るステップと、
少なくとも部分的に、前記得られた眼画像の少なくともいくつかに基づいて、虹彩コードを生成するステップと、
を含む、方法。
(項目24)
前記経路に沿った複数の場所において得られる眼画像は、前記虹彩コード内の脆弱ビットの低減を提供する、項目23に記載の方法。
(項目25)
前記虹彩コードを生成するために使用される得られた眼画像の少なくともいくつかはそれぞれ、品質閾値を超過する品質メトリックを有する、項目23-24のいずれか1項に記載の方法。
(項目26)
頭部搭載型ディスプレイシステムであって、
複数の眼画像を捕捉するように構成される画像捕捉デバイスと、
プロセッサであって、
前記複数の眼画像の眼画像毎に、
複数の眼姿勢領域の眼姿勢領域を各眼画像に割り当てることと、
各眼画像内の眼姿勢の表現を判定することと、
前記判定された表現のセットを融合し、ハイブリッド眼画像を生成することと、
前記ハイブリッド眼画像の虹彩コードを生成することと、
前記判定された虹彩コードと関連付けられた信頼度スコアを判定することであって、前記信頼度スコアは、少なくとも部分的に、前記ハイブリッド眼画像を生成するために利用される前記判定された表現のセットに基づく、ことと
を行うようにプログラムされる、プロセッサと
を備える、頭部搭載型ディスプレイシステム。
(項目27)
前記判定された表現のセットを融合するために、前記プロセッサは、画質閾値を超過する前記判定された表現のセットを選択するようにプログラムされ、前記画質閾値は、バイオメトリックアプリケーションの利用のための画質に対応する、項目26に記載の頭部搭載型ディスプレイシステム。
(項目28)
前記判定された表現のセットを融合するために、前記プロセッサは、超分解能アルゴリズムを利用するようにプログラムされる、項目26に記載の頭部搭載型ディスプレイシステム。
(項目29)
前記プロセッサはさらに、
前記信頼度スコアが信頼度閾値を超過しないことを判定することであって、前記信頼度閾値は、前記頭部搭載型ディスプレイシステムと関連付けられたアプリケーションのための具体的アクセスレベルに対応する、ことと、
前記頭部搭載型ディスプレイシステムと関連付けられたアプリケーションに実行を終了させることと
を行うようにプログラムされる、項目26に記載の頭部搭載型ディスプレイシステム。
(項目30)
前記プロセッサはさらに、
前記信頼度スコアが信頼度閾値を超過することを判定することであって、前記信頼度閾値は、前記頭部搭載型ディスプレイシステムと関連付けられたアプリケーションのための具体的アクセスレベルに対応する、ことと、
前記頭部搭載型ディスプレイシステムと関連付けられたアプリケーションに承認を示させることと
を行うようにプログラムされる、項目26に記載の頭部搭載型ディスプレイシステム。
(項目31)
前記プロセッサはさらに、前記頭部搭載型ディスプレイシステム上に表示されるレベルインジケータを修正し、前記アプリケーションによる承認を示すようにプログラムされる、項目30に記載の頭部搭載型ディスプレイシステム。
(項目32)
前記プロセッサはさらに、前記頭部搭載型ディスプレイシステムのオーディオユニットに音を放出させるようにプログラムされる、項目30に記載の頭部搭載型ディスプレイシステム。
(項目33)
前記プロセッサはさらに、前記頭部搭載型ディスプレイシステムのディスプレイに承認テキストを表示させるようにプログラムされる、項目30に記載の頭部搭載型ディスプレイシステム。
(項目34)
前記プロセッサはさらに、前記ハイブリッド眼画像を使用して、前記眼のバイオメトリックデータを判定するようにプログラムされる、項目26-33のいずれか1項に記載の頭部搭載型ディスプレイシステム。
(項目35)
頭部搭載型ディスプレイシステムであって、
複数の眼画像を捕捉するように構成される画像捕捉デバイスと、
プロセッサであって、
前記複数の眼画像の画像毎に、
複数の眼姿勢領域の眼姿勢領域を各眼画像に割り当てることと、
各眼画像内の眼姿勢の表現を判定することと、
眼画像毎に、虹彩コードを生成することと、
各生成された虹彩コードをマージし、ハイブリッド虹彩コードを生成することと、
前記ハイブリッド虹彩コードと関連付けられた信頼度スコアを判定することであって、前記信頼度スコアは、少なくとも部分的に、前記修正された眼画像を生成するために利用される前記判定された虹彩コードに基づく、ことと
を行うようにプログラムされる、プロセッサと
を備える、頭部搭載型ディスプレイシステム。
(項目36)
各判定された虹彩コードをマージするために、前記プロセッサは、各判定された虹彩コードと閾値スコアを比較するようにプログラムされ、前記閾値スコアは、前記眼画像の品質レベルに対応する、項目35に記載の頭部搭載型ディスプレイシステム。
(項目37)
各判定された虹彩コードをマージするために、前記プロセッサは、メディアンフィルタ、ベイズフィルタ、または虹彩コードをマージするように構成される任意のフィルタのうちの少なくとも1つを利用するようにプログラムされる、項目35に記載の頭部搭載型ディスプレイシステム。
(項目38)
前記プロセッサはさらに、
前記信頼度スコアが信頼度閾値を超過しないことを判定することであって、前記信頼度閾値は、前記頭部搭載型ディスプレイシステムと関連付けられたアプリケーションのための具体的アクセスレベルに対応する、ことと、
前記頭部搭載型ディスプレイシステムと関連付けられたアプリケーションに実行を終了させることと
を行うようにプログラムされる、項目35に記載の頭部搭載型ディスプレイシステム。
(項目39)
前記プロセッサはさらに、
前記信頼度スコアが前記信頼度閾値を超過することを判定することと、
前記頭部搭載型ディスプレイシステムと関連付けられたアプリケーションに承認を示させることと
を行うようにプログラムされる、項目35に記載の頭部搭載型ディスプレイシステム。
(項目40)
前記プロセッサはさらに、前記頭部搭載型ディスプレイシステム上に表示されるセキュリティバーを修正するようにプログラムされる、項目39に記載の頭部搭載型ディスプレイシステム。
(項目41)
前記プロセッサはさらに、前記頭部搭載型ディスプレイシステムのオーディオユニットに音を放出させるようにプログラムされる、項目39に記載の頭部搭載型ディスプレイシステム。
(項目42)
前記プロセッサはさらに、前記頭部搭載型ディスプレイシステムのディスプレイにテキストインジケーションを表示するようにプログラムされる、項目39に記載の頭部搭載型ディスプレイシステム。
(項目43)
眼の虹彩コードを得るための方法であって、前記方法は、
プロセッサの制御下で、
複数の眼画像にアクセスするステップと、
(1)前記複数の眼画像の画像融合動作、(2)前記複数の眼画像上の虹彩コード融合動作、または(1)および(2)の両方を行うステップであって、
前記画像融合動作は、
前記複数の眼画像の少なくともいくつかを融合し、ハイブリッド画像を生成するステップと、
ハイブリッド虹彩コードを前記ハイブリッド画像から生成するステップと
を含み、
前記虹彩コード融合動作は、
前記複数の眼画像内の眼画像の少なくともいくつかに関する虹彩コードを生成するステップと、
前記生成された虹彩コードをマージし、ハイブリッド虹彩コードを生成するステップと、
を含む、ステップと
を含む、方法。
(項目44)
前記複数の眼画像内の眼画像毎に、眼姿勢を識別するステップをさらに含む、項目43に記載の方法。
(項目45)
前記画像融合動作または前記虹彩コード融合動作は、画質閾値を超過する画質メトリッ
クを有する1つまたはそれを上回る眼画像のみにおいて行われる、項目43に記載の方法。
(項目46)
前記ハイブリッド虹彩コードに関する信頼度スコアを生成するステップをさらに含む、項目43に記載の方法。
(項目47)
バイオメトリックアプリケーションのために前記ハイブリッド虹彩コードを利用するステップをさらに含む、項目43-46のいずれか1項に記載の方法。
(項目48)
脆弱ビットを補正するステップをさらに含む、項目43に記載の方法。
(項目49)
眼画像を処理するための方法であって、前記方法は、
プロセッサの制御下で、
第1の複数の眼画像の眼画像毎に、
前記第1の複数の眼画像の眼画像毎に、複数の眼姿勢領域の眼姿勢領域を割り当てるステップと、
前記第1の複数の眼画像の眼画像毎に、第1の眼姿勢を識別するステップと、
各識別された第1の眼姿勢の第1のデジタル表現を判定するステップと、
複数の眼姿勢領域の眼姿勢領域毎に、
第1の非空の判定された第1のデジタル表現のセットを選択するステップであって、前記第1の非空の判定された第1のデジタル表現のセットの各判定された第1のデジタル表現は、画質閾値を超過する、ステップと、
前記選択された第1の非空の判定された第1のデジタル表現のセットの判定された第1のデジタル表現を組み合わせ、第1のハイブリッド画像を生成するステップと、
前記第1のハイブリッド画像の第1の虹彩コードを生成するステップと、
前記判定された第1の虹彩コードと関連付けられた第1の信頼度スコアを判定するステップであって、前記第1の信頼度スコアは、少なくとも部分的に、前記第1のハイブリッド画像を生成するために使用される前記選択された第1の非空セット内の前記判定された第1のデジタル表現の総数に基づく、ステップと、
バイオメトリックアプリケーションのために前記判定された第1の信頼度スコアを利用するステップと
を含む、方法。
(項目50)
前記第1の信頼度スコアがバイオメトリックセキュリティ信頼度閾値を超過しないことを判定するステップであって、前記バイオメトリックセキュリティ信頼度閾値は、バイオメトリックデータと関連付けられたアプリケーションのための具体的アクセスレベルに対応する、ステップと、
前記アプリケーションの実行を終了させるステップと
をさらに含む、項目49に記載の方法。
(項目51)
第2の複数の眼画像を得るステップと、
前記第2の複数の眼画像の眼画像毎に、
前記第2の複数の眼画像の眼画像毎に、前記複数の眼姿勢領域の眼姿勢領域を割り当てるステップと、
前記第2の複数の眼画像の眼画像毎に、第2の眼姿勢を識別するステップと、
各識別された第2の眼姿勢の第2のデジタル表現を判定するステップと、
前記複数の眼姿勢領域の眼姿勢領域毎に、
第2の非空の判定された第2のデジタル表現のセットを選択するステップであって、前記第2の非空の判定された第2のデジタル表現のセットの各判定された第2のデジタル表現は、画像セキュリティ閾値を超過する、ステップと、 前記選択された第2の非空の判定された第2のデジタル表現のセットを組み合わせ、第2のハイブリッド眼画像を生成するステップと、
前記第2のハイブリッド画像の第2の虹彩コードを生成するステップと、
前記判定された第2の虹彩コードと関連付けられた第2の信頼度スコアを判定するステップであって、前記第2の信頼度スコアは、少なくとも部分的に、前記第2のハイブリッド画像を生成するために使用される前記選択された第2の非空セット内の前記判定された第2のデジタル表現の総数に基づく、ステップと
をさらに含む、項目49-50のいずれか1項に記載の方法。
(項目52)
前記第2の信頼度スコアが前記バイオメトリックセキュリティ信頼度閾値を超過することを判定するステップと、
バイオメトリックアプリケーションに、承認インジケーションを第1の複数の眼画像および前記第2の複数の眼画像と関連付けられたユーザに示させるステップと
をさらに含む、項目51に記載の方法。
(項目53)
前記承認インジケーションは、頭部搭載型ディスプレイ(HMD)のディスプレイ上のセキュリティバー上のレベル、前記HMDのオーディオユニットから放出される音、および前記HMDのディスプレイ上のテキストインジケーションのうちの少なくとも1つに対応する、項目52に記載の方法。
(項目54)
金融取引のためのアプリケーションへのアクセスのための要求を伝送するステップであって、前記要求は、前記承認インジケーションの表現を備える、ステップをさらに含む、項目52に記載の方法。
(項目55)
バイオメトリックセキュリティ信頼度閾値は、前記金融取引と関連付けられたアカウントにアクセスするために要求される画質レベルを備える、項目52に記載の方法。
(項目56)
前記アカウントにアクセスするために要求される画質レベルは、少なくとも1つの画質メトリックを備える、項目55に記載の方法。
(項目57)
眼画像を処理するための方法であって、前記方法は、
プロセッサの制御下で、
眼の複数の眼画像の眼画像毎に、
眼画像毎に、眼姿勢を識別するステップと、
前記識別された眼姿勢のデジタル表現を判定するステップと、
眼画像毎に、虹彩コードを生成するステップと、
各眼画像の前記生成された虹彩コードを組み合わせ、ハイブリッド虹彩コードを生成するステップと、
前記ハイブリッド虹彩コードと関連付けられた信頼度スコアを判定するステップであって、前記信頼度スコアは、前記ハイブリッド虹彩コードを生成するために、少なくとも部分的に、前記組み合わせられた判定された虹彩コードの総数に基づく、ステップと、
バイオメトリックアプリケーションのために前記判定された信頼度スコアを利用するステップと
を含む、方法。
(項目58)
前記信頼度スコアがバイオメトリックセキュリティ信頼度閾値を超過しないことを判定するステップであって、前記バイオメトリックセキュリティ信頼度閾値は、バイオメトリックデータと関連付けられたアプリケーションのための具体的アクセスレベルに対応する、ステップと、
前記バイオメトリックデータと関連付けられたアプリケーションに実行を終了させるステップと
をさらに含む、項目57に記載の方法。
(項目59)
前記信頼度スコアがバイオメトリックセキュリティ信頼度閾値を超過することを判定するステップと、
バイオメトリックアプリケーションに承認インジケーションを前記複数の眼画像と関連付けられたユーザに示させるステップと
をさらに含む、項目57に記載の方法。
(項目60)
前記承認インジケーションは、頭部搭載型ディスプレイ(HMD)のディスプレイ上のセキュリティバー上のレベル、前記HMDのオーディオユニットから放出される音、および前記HMDのディスプレイ上のテキストインジケーションのうちの少なくとも1つを備える、項目59に記載の方法。
(項目61)
前記バイオメトリックセキュリティ信頼度閾値は、前記金融取引と関連付けられたアカウントにアクセスするために要求される画質レベルに対応する、項目59に記載の方法。
(項目62)
金融取引のためのアプリケーションへのアクセスのための要求を伝送するステップであって、前記要求は、前記承認インジケーションの表現を備える、ステップをさらに含む、項目57-61のいずれか1項に記載の方法。
(項目63)
頭部搭載型ディスプレイシステムであって、
眼の複数の眼画像を捕捉するように構成される画像捕捉デバイスと、
プロセッサであって、前記プロセッサは、
前記複数の眼画像の眼画像毎に、
前記眼画像を前記画像捕捉デバイスから受信することと、
前記眼画像と関連付けられた画質メトリックを判定することと、
前記判定された画質メトリックと画質閾値を比較し、前記眼画像が前記画質閾値を超過しているかどうかを判定することであって、前記画質閾値は、虹彩コードを生成するための画質レベルに対応する、ことと、
前記複数の眼画像から、前記画質閾値を超過する眼画像を選択することと、
前記選択された眼画像を利用し、虹彩コードを生成することと
を行うようにプログラムされる、プロセッサと
を備える、頭部搭載型ディスプレイシステム。
(項目64)
前記画質閾値を超過する前記眼画像を選択するために、前記プロセッサは、前記選択された眼画像を前記プロセッサのバッファの中にバッファするようにプログラムされる、項目63に記載の頭部搭載型ディスプレイシステム。
(項目65)
前記画質閾値を超過する前記眼画像を選択するために、前記プロセッサは、前記眼画像の極座標表現を利用するようにプログラムされる、項目63に記載の頭部搭載型ディスプレイシステム。
(項目66)
前記プロセッサはさらに、画像融合動作および虹彩融合動作を行うようにプログラムされる、項目63に記載の頭部搭載型ディスプレイシステム。
(項目67)
前記画像融合動作および前記虹彩融合動作は、実質的に同時に、または連続して、前記生成された虹彩コードの一貫性を検証するために行われる、項目66に記載の頭部搭載型ディスプレイシステム。
(項目68)
前記プロセッサはさらに、
前記選択された眼画像の眼姿勢を判定することと、
前記選択された眼画像の眼姿勢を使用して、前記眼のバイオメトリックデータを判定することと
を行うようにプログラムされる、項目66に記載の頭部搭載型ディスプレイシステム。
(項目69)
前記眼画像を前記画像捕捉デバイスから受信するために、前記プロセッサは、前記プロセッサによって実装される眼画像収集ルーチンの間、前記眼画像を前記画像捕捉デバイスから受信するようにプログラムされる、項目63に記載の頭部搭載型ディスプレイシステム。
(項目70)
前記眼画像収集ルーチンは、グラフィックを利用して、眼画像を得る、項目69に記載の頭部搭載型ディスプレイシステム。
(項目71)
前記画質閾値を超過する前記眼画像を選択するために、前記プロセッサは、
前記複数の眼画像の第1の眼画像をバッファの中にバッファすることと、
前記複数の眼画像の第2の眼画像の画質メトリックが前記第1の眼画像の画質メトリックを超過することを判定することと、
前記第1の眼画像を前記バッファ内の前記第2の眼画像と置換することであって、前記第2の眼画像は、前記選択された眼画像に対応する、ことと
を行うようにプログラムされる、項目63に記載の頭部搭載型ディスプレイシステム。
(項目72)
前記画質メトリックは、前記眼画像のぼけと関連付けられたぼけ画質に対応し、前記眼画像のぼけは、基準眼画像に対する前記眼画像内の眼移動度に対応する、項目63に記載の頭部搭載型ディスプレイシステム。
(項目73)
前記画質メトリックは、前記眼画像内の非閉塞ピクセルの量に対応する、項目63に記載の頭部搭載型ディスプレイシステム。
(項目74)
前記画質メトリックは、眼瞬目、グレア、焦点ずれ、分解能、閉塞ピクセル、非閉塞ピクセル、雑音、アーチファクト、ぼけ、またはそれらの組み合わせのうちの1つまたはそれを上回るものに関連する測定を備える、項目63に記載の頭部搭載型ディスプレイシステム。
(項目75)
前記画質メトリックは、複数の成分品質メトリックの加重された組み合わせを備える、項目63に記載の頭部搭載型ディスプレイシステム。
(項目76)
眼画像を処理するための方法であって、前記方法は、
プロセッサの制御下で、
複数の眼画像を得るステップと、
前記複数の眼画像の眼画像毎に、
各眼画像と関連付けられた画質メトリックを判定するステップと、
各判定された画質メトリックと画質閾値を比較し、前記眼画像が前記画質閾値を超過しているかどうかを判定するステップであって、前記画質閾値は、虹彩コードを生成するための画質レベルに対応する、ステップと、
前記複数の眼画像から、非空の眼画像のセットを選択するステップと、
虹彩コードを生成するために前記眼画像のセットを利用するステップと
を含む、方法。
(項目77)
前記非空の眼画像のセットを選択するステップは、前記選択されるべき画質閾値を超過する、前記複数の眼画像の眼画像のパーセンテージを識別するステップを含む、項目76に記載の方法。
(項目78)
前記非空の眼画像のセットを選択するステップは、
選択されるべき眼画像の総数を識別するステップと、
前記眼画像のセットを識別するステップであって、それぞれ、前記セット内にない眼画像の判定された画質メトリックを上回るかまたはそれと等しい、判定された画質メトリックを有する、ステップと
を含む、項目76に記載の方法。
(項目79)
前記非空の眼画像のセット内の各眼画像は、前記画質閾値を超過する、項目76に記載の方法。
(項目80)
前記非空の眼画像のセットおよび前記対応する判定された画質メトリックをデータ媒体内にバッファするステップをさらに含む、項目76に記載の方法。
(項目81)
前記画質閾値を超過する付加的眼画像を得るステップと、
前記データ媒体内にバッファされた前記非空の眼画像のセットの眼画像を選択するステップと、
前記付加的眼画像の画質メトリックが前記データ媒体内にバッファされた前記非空の眼画像のセットの眼画像の画質メトリックを超過することを判定するステップと、
前記データ媒体内において、前記データ媒体内にバッファされた前記非空の眼画像のセットの前記選択された眼画像および前記データ媒体内にバッファされた前記非空の眼画像のセットの前記選択された眼画像の画質メトリックを、それぞれ、前記付加的眼画像の付加的眼画像および画質メトリックと置換するステップと
をさらに含む、項目80に記載の方法。
(項目82)
前記画質メトリックは、眼瞬目、グレア、焦点ずれ、分解能、閉塞ピクセル、非閉塞ピクセル、雑音、アーチファクト、ぼけ、またはそれらの組み合わせのうちの1つまたはそれを上回るものに関連する測定を備える、項目76-81のいずれか1項に記載の方法。
本明細書に説明される主題の1つまたはそれを上回る実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
図1は、人物によって視認されるある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。
図2は、ウェアラブルディスプレイシステムの実施例を図式的に図示する。
図3は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図5は、導波管によって出力され得る、例示的出射ビームを示す。
図6は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、ディスプレイシステムを示す、概略図である。
図7は、例証的眼画像セット選択ルーチンのフロー図を示す。
図8は、眼画像セット収集のための頭部搭載型ディスプレイシステムのディスプレイ上の例示的場面を図式的に図示する。
図9は、例証的眼画像収集ルーチンのフロー図を示す。
図10は、例証的眼画像組み合わせルーチンのフロー図を示す。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
概要
例示的眼画像セット選択
カメラ等の1つまたはそれを上回るイメージングソースから得られたある眼画像が、選択され、種々のバイオメトリックアプリケーションのために使用されることができる。例えば、眼画像を得た後、画質メトリックが、得られた眼画像の一部または全部に関して判定されることができる。画質メトリックは、例えば、ぼけの量、非閉塞ピクセルの数またはパーセンテージ、色飽和度、着目領域の分解能等の画像分解能、または任意のそれらの組み合わせに基づいて判定されることができる。異なる眼画像は、異なるタイプの画質メトリックと関連付けられることができる。眼画像毎に判定された画質メトリックは、個別の画質閾値と比較されることができる。
眼画像のセットは、対応する画質閾値を満たす画質メトリックを有する、セット内の各眼画像を用いて選択されることができる。加えて、または代替として、選択された眼画像のセットは、固定数の眼画像(上位画質メトリックを伴う眼画像等)を含んでもよい。選択された眼画像のセットは、眼姿勢判定(例えば、装着者の片眼または両眼の方向)または虹彩コード生成等の種々のバイオメトリックアプリケーションのために使用されることができる。例えば、選択された眼画像は、1つまたはそれを上回る虹彩コードを生成するために使用されることができる。
例示的眼画像収集
いくつかの眼姿勢領域に関する眼画像が、種々のバイオメトリックアプリケーションのために得られることができる。例えば、ディスプレイ(例えば、頭部搭載型ディスプレイシステムのディスプレイ)は、いくつかの眼姿勢領域(例えば、2、3、4、5、6、9、12、18、24、36、49、64、128、256、1000、またはそれを上回る)と関連付けられることができ、1つまたはそれを上回る眼画像が、眼姿勢領域の一部または全部に関して得られることができる。眼姿勢領域は、同一または異なるサイズもしくは形状(長方形、正方形、円形、三角形、卵形、菱形等)を有することができる。眼姿勢領域は、装着者の眼姿勢の角度空間の観点からその眼姿勢領域を規定する、2次元実座標空間Rまたは2次元正整数座標空間(N>0の接続されたサブセットと見なされることができる。例えば、眼姿勢領域は、方位角偏向(基準方位角から測定される)における特定のθminと特定のθmaxとの間および天頂偏向(また、極性偏向と称される)における特定のφminと特定のφmaxとの間にあることができる。
グラフィック(蝶、マルハナバチ、またはアバタ等)またはグラフィックの動画が、ディスプレイのユーザの片眼または両眼が眼姿勢領域に指向または誘引されるように、眼姿勢領域内にまたは2つまたはそれを上回る眼姿勢領域を横断して表示されることができる。グラフィックは、ランダムモード、飛行モード、明滅モード、変動モード、またはストーリーモードにおいて、眼姿勢領域内にまたは2つまたはそれを上回る眼姿勢領域を横断して表示されることができる。移動するグラフィックの速度は、実質的に一定であることができる、または可変であることができる。例えば、グラフィックは、ある眼姿勢領域(例えば、1つまたはそれを上回る眼画像が撮影される場所)では、減速または停止してもよい、またはグラフィックは、他の眼姿勢領域(例えば、眼画像が必要ない、または所望されない場所)を通して加速またはスキップしてもよい。グラフィックの経路は、連続または断続であることができる(例えば、グラフィック805は、ある眼姿勢領域にわたってまたはその周囲をスキップしてもよい)。
眼姿勢領域と関連付けられたユーザの眼画像は、グラフィックが眼姿勢領域に表示される間に得られることができる。グラフィックの画質メトリック(例えば、ぼけの量または非閉塞ピクセルの数もしくはパーセンテージ)が対応する画質閾値を超過しているかまたは満たしていることを判定後、グラフィックまたはグラフィックの動画は、別の眼姿勢領域に表示されることができる。2つの眼姿勢領域に表示されるグラフィックは、同一または異なることができる。他の眼姿勢領域と関連付けられたユーザの別の眼画像は、グラフィックが他の眼姿勢領域に表示される間に得られることができる。グラフィックの画質メトリックは、対応する画質閾値を超過しているかまたは満たしていると判定されることができる。画質メトリック(または対応する画質閾値)は、異なる眼姿勢領域に対して得られる眼画像に関して同一または異なることができる。プロセスは、ディスプレイの他の眼姿勢領域に対して繰り返されることができる。例えば、グラフィックは、ある眼姿勢領域から別の眼姿勢領域まで経路に沿って移動することができる。
ある眼姿勢領域と関連付けられた眼画像が対応する画質閾値を超過しないまたはそれを満たさない場合、グラフィックは、十分な眼画質の眼画像が得られるまで、その特定の領域に表示されることができる。代替として、または加えて、眼画像が、閾値試行回数(例えば、3回)後、ある眼姿勢領域に関して得られることができない場合、眼画像収集は、眼画像を1つまたはそれを上回る他の姿勢領域から得ながら、その眼姿勢領域をスキップする、またはある時間周期にわたってその上での収集を一時停止してもよい。眼画像は、眼画像が閾値試行回数後に得られることができない場合、ある眼姿勢領域に関して得られなくてもよい。眼画像が、十分な数の眼姿勢領域または眼姿勢着目領域に関して得られた後、1つまたはそれを上回る眼画像が、種々のバイオメトリックアプリケーションのために使用されることができる(例えば、虹彩コードが、得られた眼画像のうちの1つまたはそれを上回るものに基づいて生成されることができる)。
例示的眼画像組み合わせ
1つまたはそれを上回るイメージングソースから得られた眼画像が、1つまたはそれを上回るハイブリッド眼画像(また、組み合わせられた、または融合された眼画像と称される)に組み合わせられる、または融合されることができ、これは、順に、バイオメトリックアプリケーションのために使用されることができる。例えば、眼画像を得た後、眼姿勢が、眼画像毎に、識別されることができる。眼姿勢は、ディスプレイの眼姿勢領域割当等、特定のディスプレイ分類と関連付けられることができる。画像融合または虹彩コード融合の一方または両方が、得られた眼画像に適用されることができる。画像融合のために、得られた眼画像の一部または全部が、例えば、超分解能、空間ドメイン融合、または変換ドメイン融合を使用して、ハイブリッド眼画像に融合されることができる。虹彩コードが、ハイブリッド眼画像から抽出、生成、または判定されることができる。虹彩コード融合のために、虹彩コードが、得られた眼画像の一部または全部の各々に対し、生成されることができる。得られた虹彩コードは、次いで、例えば、媒体フィルタまたはベイズフィルタを使用して、ハイブリッド虹彩コードにマージされることができる。特定の眼姿勢領域と関連付けられた各虹彩コードは、全体的ハイブリッド虹彩コードに寄与することができる。信頼度スコアが、虹彩コードまたはハイブリッド虹彩コードに関して生成または判定されることができる。信頼度スコアは、サンプリングされる眼姿勢領域の割合に基づくことができる。画像融合を使用して生成された虹彩コードまたは画像融合を使用して生成されたハイブリッド虹彩コードの一方または両方が、1つまたはそれを上回るバイオメトリックアプリケーションにおけるさらなる利用のために使用されることができる。
例示的拡張現実シナリオ
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。図1は、拡張現実場面100を描写し、AR技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140(例えば、マルハナバチ)とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
3次元(3D)ディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
VR、AR、およびMR体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なり得(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面のための異なる画像特徴に焦点を合わせるために要求される、眼の遠近調節に基づいて、および/または焦点から外れている異なる深度平面上の異なる画像特徴の観察に基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、深度の真実味のある知覚を提供する。VR、AR、およびMR体験を生成または向上させるために、ディスプレイシステムは、バイオメトリック情報を使用して、それらの体験を向上させることができる。
バイオメトリック情報を眼から抽出することは、概して、眼画像内の虹彩のセグメント化のためのプロシージャを含む。虹彩セグメント化は、瞳孔および虹彩の辺縁境界を見出すステップ、それらが虹彩を閉塞する場合、上側または下側眼瞼を局所化するステップ、睫毛、陰影、または反射の閉塞を検出および除外するステップ等を含む、虹彩境界を特定するステップを含む、動作を伴うことができる。例えば、眼画像は、顔の画像内に含まれることができる、または眼球周囲領域の画像であってもよい。虹彩セグメント化を行うために、瞳孔の境界(虹彩の内部境界)および角膜輪部(虹彩の外部境界)の両方が、画像データの別個のセグメントとして識別されることができる。
さらに、バイオメトリック情報(例えば、眼姿勢)を得るために、コンピュータのユーザの眼移動を追跡するためのアルゴリズムが、存在する。例えば、コンピュータのモニタに結合されるカメラが、眼移動を識別するための画像を提供することができる。しかしながら、眼追跡のために使用されるカメラは、ユーザの眼からある程度距離がある。例えば、カメラは、コンピュータに結合されるユーザのモニタの上部に設置され得る。その結果、カメラによって生成された眼の画像は、多くの場合、不良分解能を伴って生成される。故に、ユーザの眼姿勢を判定することは、課題を提示し得る。
本明細書に開示される技法を用いることで、眼画像処理が、眼の向いている方向を実質的に識別し、加えて、または代替として、虹彩コード生成のための眼画像の分解能を向上させるために使用されることができる。本明細書に説明される眼画像処理の実施形態は、有利には、各眼姿勢画像の一部を表す、種々の眼姿勢画像を単一眼画像に組み合わせるために使用されることができる。加えて、いくつかの実装では、眼画像処理は、グラフィックを利用して、種々の眼姿勢における眼の画像を得ることができる。そのような得られた眼画像は、分析され、画質閾値が得られた眼画像の画質メトリックによって超過されるかどうかを判定してもよい。そのような画質閾値は、眼画像の虹彩コードの生成と関連付けられた値に対応することができる。故に、得られた眼画像のセットは、単一眼姿勢画像への眼姿勢画像の組み合わせ等、眼画像処理のために選択されることができる。
ウェアラブル頭部搭載型ディスプレイ(HMD)の状況では、カメラは、ユーザのモニタに結合されるカメラよりユーザの眼に近くあり得る。例えば、カメラは、ウェアラブルHMD上に搭載されてもよく、それ自体は、ユーザの頭部上に装着される。眼とそのようなカメラの近接度は、より高い分解能の眼画像をもたらすことができる。故に、コンピュータビジョン技法が、ユーザの眼から、特に、虹彩(例えば、虹彩特徴)において、または虹彩を囲繞する強膜(例えば、強膜特徴)において、視覚的特徴を抽出することが可能である。例えば、眼の近傍のカメラによって視認されるとき、眼の虹彩は、詳細な構造を示すであろう。そのような虹彩特徴は、特に、赤外線照明下で観察されるときに顕著であって、バイオメトリック識別のために使用されることができる。これらの虹彩特徴は、ユーザ毎に一意であって、指紋のように、ユーザを一意に識別するために使用されることができる。眼特徴は、眼の強膜内(虹彩の外側の)血管を含むことができ、これもまた、特に、赤色または赤外線光下で視認されるときに顕著に現れ得る。より高い分解能において視認される、そのような明確に異なる虹彩特徴は、より一意または正確な虹彩コードが種々の眼姿勢画像に関して生成されることにつながり得る。
例示的ウェアラブルディスプレイシステム
図2は、VR、AR、またはMR体験をディスプレイシステム装着者もしくは視認者204に提示するために使用され得る、ウェアラブルディスプレイシステム200の実施例を図示する。ウェアラブルディスプレイシステム200は、眼画像処理を行い、本明細書に説明される用途または実施例のいずれかを提供するようにプログラムされてもよい。ディスプレイシステム200は、ディスプレイ208と、ディスプレイ208の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ208は、ディスプレイシステムユーザ、装着者、または視認者204によって装着可能であって、ディスプレイ208を装着者204の眼の正面に位置付けるように構成される、フレーム212に結合されてもよい。ディスプレイ208は、ライトフィールドディスプレイであってもよい。いくつかの実施形態では、スピーカ216が、フレーム212に結合され、ユーザの外耳道に隣接して位置付けられる。いくつかの実施形態では、示されない別のスピーカが、ユーザの他の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する。ディスプレイ208は、有線導線または無線コネクティビティ等によって、フレーム212に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホン内に内蔵される、または別様に、ユーザ204に除去可能に取り付けられる(例えば、バックパック式構成において、ベルト結合式構成において)等、種々の構成で搭載され得る、ローカルデータ処理モジュール224に動作可能に結合される220。
フレーム212は、フレーム212に取り付けられ、または搭載され、装着者の眼の画像を得る、1つまたはそれを上回るカメラを有することができる。一実施形態では、カメラは、眼が直接撮像され得るように、装着者の眼の正面においてフレーム212に搭載されてもよい。他の実施形態では、カメラは、フレーム212のステムに沿って(例えば、装着者の耳の近傍に)搭載されることができる。そのような実施形態では、ディスプレイ208は、光を装着者の眼からカメラに向かって反射させる、材料でコーティングされてもよい。光は、虹彩特徴が赤外線画像内で顕著であるため、赤外線光であってもよい。
ローカル処理およびデータモジュール224は、ハードウェアプロセッサならびに不揮発性メモリ(例えば、フラッシュメモリ)等の非一過性デジタルメモリを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、(a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等の(例えば、フレーム212に動作可能に結合される、または別様に、ユーザ204に取り付けられ得る)センサから捕捉されるデータ、および/または(b)可能性として、そのような処理もしくは読出後にディスプレイ208への通過のために、遠隔処理モジュール228および/または遠隔データリポジトリ232を使用して取得ならびに/もしくは処理されるデータを含んでもよい。ローカル処理およびデータモジュール224は、これらの遠隔モジュール228、232が、ローカル処理およびデータモジュール224へのリソースとして利用可能であるように、有線通信リンクまたは無線通信リンクを介して等、通信リンク236および/または240によって、遠隔処理モジュール228および遠隔データリポジトリ232に動作可能に結合されてもよい。画像補足デバイスは、眼画像処理プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。加えて、遠隔処理モジュール228および遠隔データリポジトリ232は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール228は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび/または画像情報を分析ならびに処理するように構成される、1つもしくはそれを上回るプロセッサを備えてもよい。ビデオデータは、ローカル処理およびデータモジュール224ならびに/または遠隔データリポジトリ232内でローカルに記憶されてもよい。いくつかの実施形態では、遠隔データリポジトリ232は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての計算は、ローカル処理およびデータモジュール224内で行われ、遠隔モジュールからの完全に自律的な使用を可能にする。
いくつかの実装では、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、本明細書に説明されるように、眼画像を得る、または眼画像を処理する実施形態を行うようにプログラムされる。例えば、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、それぞれ、図7、9、および10を参照して説明される、ルーチン700、900、または1000の実施形態を行うようにプログラムされることができる。ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、本明細書に開示される眼画像処理技法を使用して、バイオメトリック抽出において、例えば、装着者204の識別を識別または認証する、または姿勢推定において、例えば、各眼が見ている方向を判定するようにプログラムされることができる。画像捕捉デバイスは、特定の用途のためのビデオ(例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手または指のビデオ)を捕捉することができる。ビデオは、処理モジュール224、228の一方または両方によって、眼画像処理技法を使用して分析されることができる。本分析を用いて、処理モジュール224、228は、眼画像選択、眼画像収集、眼画像組み合わせ、および/またはバイオメトリック抽出等を行うことができる。実施例として、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、眼画像をフレーム212に取り付けられたカメラから収集するようにプログラムされることができる(例えば、ルーチン900)。加えて、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、本明細書に説明される眼画像セット選択技法(例えば、ルーチン700)または眼画像組み合わせ技法(例えば、ルーチン1000)を使用して、眼画像を処理し、虹彩コードの生成を促進する、またはウェアラブルディスプレイシステム200の装着者の眼姿勢を識別するようにプログラムされることができる。ある場合には、虹彩コード生成の少なくともいくつかを遠隔処理モジュール(例えば、「クラウド」内の)にオフロードすることは、算出の効率または速度を改良し得る。または別の実施例として、眼画像のマージ等の技法のいくつかの部分は、遠隔処理モジュールにオフロードされることができる。
ビデオ分析の結果(例えば、推定された眼姿勢)は、付加的動作または処理のために、処理モジュール224、228の一方または両方によって使用されることができる。例えば、種々の用途では、バイオメトリック識別、眼追跡、認識、またはオブジェクト、姿勢等の分類が、ウェアラブルディスプレイシステム200によって使用されてもよい。例えば、装着者の眼のビデオが、眼画像を得るために使用されることができ、これは、順に、処理モジュール224、228によって使用され、ディスプレイ208を通して装着者204の眼の虹彩コードを生成することができる。ウェアラブルディスプレイシステム200の処理モジュール224、228は、本明細書に説明されるビデオまたは画像処理用途のいずれかを行うための眼画像処理の1つまたはそれを上回る実施形態を用いてプログラムされることができる。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散(vergence)運動および遠近調節(accommodation)の組み合わせに起因して、オブジェクトを3次元として知覚し得ると考えられる。相互に対する2つの眼の輻輳・開散運動移動(すなわち、眼の視線を収束させ、オブジェクトに固定させる、相互に向かった、またはそこから離れる瞳孔の転動運動)は、眼の水晶体の集束(または「遠近調節」)と緊密に関連付けられる。正常条件下では、眼の水晶体の焦点を変化させる、または眼を遠近調節し、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させることは、自動的に、「遠近調節-輻輳・開散運動反射」として知られる関係のもとで、同一距離までの輻輳・開散運動における整合的変化を生じさせるであろう。同様に、輻輳・開散運動の変化は、正常条件下では、遠近調節の整合的変化も誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図3は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。図3を参照すると、z-軸上の眼302および304から種々の距離におけるオブジェクトは、それらのオブジェクトが合焦されるように、眼302および304によって遠近調節される。眼302および304は、特定の遠近調節された状態をとり、z-軸に沿って異なる距離にオブジェクトを合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面のための遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面306のうちの特定の1つと関連付けられていると言え得る。いくつかの実施形態では、3次元画像は、眼302および304毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼302および304の視野は、例えば、z-軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態において眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数の深度面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。
例示的導波管スタックアセンブリ
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム400は、複数の導波管420、422、424、426、428を使用して、3次元知覚を眼410または脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ405を含む。いくつかの実施形態では、ディスプレイシステム400は、図2のシステム200に対応してもよく、図4は、そのシステム200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ405は、図2のディスプレイ208の中に統合されてもよい。
図4を継続して参照すると、導波管アセンブリ405はまた、複数の特徴430、432、434、436を導波管の間に含んでもよい。いくつかの実施形態では、特徴430、432、434、436は、レンズであってもよい。いくつかの実施形態では、特徴430、432、434、436は、レンズではなくてもよい。むしろ、それらは、スペーサであってもよい(例えば、空気間隙を形成するためのクラッディング層および/または構造)。
導波管420、422、424、426、428および/または複数のレンズ430、432、434、436は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス440、442、444、446、448は、それぞれ、眼410に向かって出力するために、入射光を各個別の導波管を横断して分散させるように構成され得る、導波管420、422、424、426、428の中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス440、442、444、446、448の出力表面から出射し、導波管420、422、424、426、428の対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度(および発散量)において眼410に向かって指向される、クローン化コリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス440、442、444、446、442は、それぞれ、それぞれの対応する導波管420、422、424、426、428の中へ投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス440、442、446、446、448は、例えば、1つまたはそれを上回る光学導管(光ファイバケーブル等)を介して、画像情報を画像投入デバイス440、442、444、446、448のそれぞれにパイピングし得る、単一の多重化されたディスプレイの出力端である。
コントローラ450は、スタックされた導波管アセンブリ405および画像投入デバイス440、442、444、446、448の動作を制御する。いくつかの実施形態では、コントローラ450は、導波管420、422、424、426、428への画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性コンピュータ可読媒体内の命令)を含む。いくつかの実施形態では、コントローラ450は、単一の一体型デバイスまたは有線もしくは無線通信チャネルによって接続される分散型システムであってもよい。コントローラ450は、いくつかの実施形態では、処理モジュール224または228(図2に図示される)の一部であってもよい。いくつかの実施形態では、コントローラは、内向きに面したイメージングシステム452(例えば、デジタルカメラ)、外向きに面したイメージングシステム454(例えば、デジタルカメラ)、および/またはユーザ入力デバイス466と通信してもよい。内向きに面したイメージングシステム452(例えば、デジタルカメラ)は、眼410の画像を捕捉し、例えば、眼410の瞳孔のサイズおよび/または配向を判定するために使用されることができる。外向きに面したイメージングシステム454は、世界456の一部を撮像するために使用されることができる。ユーザは、ユーザ入力デバイス466を介して、コマンドをコントローラ450に入力し、ディスプレイシステム400と相互作用することができる。
導波管420、422、424、426、428は、全内部反射(TIR)によって、各個別の導波管内で光を伝搬させるように構成されてもよい。導波管420、422、424、426、428はそれぞれ、主要上部および底部表面と、それらの主要上部と底部表面との間に延在する縁とを伴う平面であるかまたは別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管420、422、424、426、428はそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼410に出力させることによって、光を導波管から抽出するように構成される、光抽出光学要素460、462、464、466、468を含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。光の抽出されたビームは、導波管内で伝搬する光が光再指向要素に衝打する場所において、導波管によって出力される。光抽出光学要素(460、462、464、466、468)は、例えば、反射および/または回折光学特徴であってもよい。説明の容易性および図面の明確性のために、導波管420、422、424、426、428の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素460、462、464、466、468は、上部および/または底部主要表面に配置されてもよく、および/または導波管420、422、424、426、428の容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素460、462、464、466、468は、透明基板に取り付けられ、導波管420、422、424、426、428を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管420、422、424、426、428は、モノリシック材料片であってもよく、光抽出光学要素460、462、464、466、468は、その材料片の表面上および/または内部に形成されてもよい。
図4を継続して参照すると、本明細書に議論されるように、各導波管420、422、424、426、428は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管420は、コリメートされた光を、そのような導波管420の中に投入されるにつれて、眼410に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表してもよい。次の上方導波管422は、眼410に到達し得る前に、第1のレンズ430(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。第1のレンズ430は、眼/脳が、その次の上方導波管422から生じる光を光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるよう解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方導波管424は、眼410に到達する前に、その出力光を第1のレンズ430および第2のレンズ432の両方を通して通過させる。第1のレンズ430および第2のレンズ432の組み合わせられた光強度は、眼/脳が、第3の導波管424から生じる光を次の上方導波管422から生じるものより光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるよう解釈するように、別のインクリメント量の波面曲率を作成するように構成されてもよい。
他の導波管層(例えば、導波管426、428)およびレンズ(例えば、レンズ434、436)も同様に構成され、スタック内の最高導波管428は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ405の他側の世界456から生じる光を視認/解釈するとき、レンズ430、432、434、436のスタックを補償するために、補償レンズ層438が、スタックの上部に配置され、下方のレンズスタック430、432、434、436の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズペアと同数の知覚される焦点面を提供する。導波管420、422、424、426、428の光抽出光学要素460、462、464、466、468およびレンズ430、432、434、436の集束側面は両方とも、静的であってもよい(例えば、動的または電気活性ではない)。いくつかの代替実施形態では、いずれかまたは両方は、電気活性特徴を使用して、動的であってもよい。
図4を継続して参照すると、光抽出光学要素460、462、464、466、468は、その個別の導波管からの光を再指向することと、導波管と関連付けられた特定の深度平面のための適切な量の発散またはコリメーションを伴って、本光を出力することとの両方を行うように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴って光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素460、462、464、466、468は、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素460、462、464、466、468は、体積ホログラム、表面ホログラム、および/または回折格子であってもよい。回折格子等の光抽出光学要素は、2015年6月25日に出願された米国特許出願公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明される。いくつかの実施形態では、特徴430、432、434、436、438は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ(例えば、クラッディング層および/または空気間隙を形成するための構造)であってもよい。
いくつかの実施形態では、光抽出光学要素460、462、464、466、468は、回折パターンを形成する回折特徴、すなわち、「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみが、DOEの各交差点を用いて、眼410に向かって偏向され、残りは、全内部反射を介して、導波管を通して移動し続けるように、比較的に低い回折効率を有する。画像情報を搬送する光は、したがって、多数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームのために、眼410に向かって非常に均一な出射放出パターンとなる。
いくつかの実施形態では、1つまたはそれを上回るDOEは、それらが能動的に回折する「オン」状態と、それらが有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、ポリマー分散液晶の層を備えてもよく、その中で、微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率と実質的に整合するように切り替えられることができる(その場合、パターンは、入射光を著しく回折しない)、または微小液滴は、ホスト媒体のものと整合しない屈折率に切り替えられることができる(その場合、パターンは、入射光を能動的に回折する)。
いくつかの実施形態では、深度平面および/または被写界深度の数ならびに分散は、視認者の眼の瞳孔サイズならびに/もしくは配向に基づいて、動的に変動されてもよい。いくつかの実施形態では、内向きに面したイメージングシステム452(例えば、デジタルカメラ)が、眼410の画像を捕捉し、眼410の瞳孔のサイズおよび/または配向を判定するために使用されてもよい。いくつかの実施形態では、内向きに面したイメージングシステム452は、フレーム212(図2に図示されるように)に取り付けられてもよく、内向きに面したイメージングシステム452からの画像情報を処理し、例えば、ユーザ204の眼の瞳孔直径および/または配向を判定し得る、処理モジュール224ならびに/もしくは228と電気通信してもよい。
いくつかの実施形態では、内向きに面したイメージングシステム452(例えば、デジタルカメラ)は、眼移動および顔移動等、ユーザの移動を観察することができる。内向きに面したイメージングシステム452は、眼410の画像を捕捉し、眼410の瞳孔のサイズおよび/または配向を判定するために使用されてもよい。内向きに面したイメージングシステム452は、ユーザが見ている方向(例えば、眼姿勢)を判定する際に使用するため、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)の画像を得るために使用されることができる。内向きに面したイメージングシステム452によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにディスプレイシステム400によって使用され得る、ユーザの眼姿勢および/または気分を判定するために分析されてもよい。ディスプレイシステム400はまた、慣性測定ユニット(IMU)、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部配向)を判定してもよい。頭部の姿勢は、単独で、または眼姿勢と組み合わせて、ステム追跡と相互作用する、および/またはオーディオコンテンツを提示するために使用されてもよい。
いくつかの実施形態では、1つのカメラが、眼毎に利用され、各眼の瞳孔サイズおよび/または配向を別個に判定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの実施形態では、少なくとも1つのカメラが、眼毎に利用され、独立して、各眼の瞳孔サイズおよび/または眼姿勢を別個に判定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの他の実施形態では、片眼410のみの瞳孔直径および/または配向(例えば、対の眼あたり単一カメラのみを使用して)が、判定され、視認者204の両眼に対して類似すると仮定される。
例えば、被写界深度は、視認者の瞳孔サイズに反比例して変化し得る。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不可能な1つの平面が、瞳孔サイズの低減および被写界深度の相当する増加に伴って、判別可能となり、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される離間された深度平面の数も、減少された瞳孔サイズに伴って減少し得る。例えば、視認者は、1つの深度平面から離れ、他の深度平面への眼の遠近調節を調節せずに、第1の深度平面および第2の深度平面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが不可能であり得る。しかしながら、これらの2つの深度平面は、遠近調節を変化させずに、別の瞳孔サイズにおいて、ユーザに同時に十分に合焦され得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび/または配向の判定に基づいて、もしくは特定の瞳孔サイズおよび/または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、2つの導波管と関連付けられた2つの深度平面間で区別不可能である場合、コントローラ450は、画像情報をこれらの導波管のうちの1つに提供することを中止するように構成またはプログラムされてもよい。有利には、これは、システムにかかる処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオン状態とオフ状態との間で切替可能である、実施形態では、DOEは、導波管が画像情報を受信するときに、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの判定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ディスプレイシステム400は、世界456の一部を撮像する、外向きに面したイメージングシステム454(例えば、デジタルカメラ)を含むことができる。世界456の本部分は、視野(FOV)と称され得、イメージングシステム454は、時として、FOVカメラとも称される。視認者204による視認またはイメージングのために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、ディスプレイシステム400を囲繞する4πステラジアンの立体角を含んでもよい。ディスプレイシステム400のいくつかの実装では、FORは、ユーザ204が、ユーザを囲繞するオブジェクトを見るためにその頭部および眼を移動させ得るため、ディスプレイシステム400のユーザ204の周囲の立体角の実質的に全てを含んでもよい(ユーザの正面、背面、上方、下方、または側面)。外向きに面したイメージングシステム454から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界456内のオブジェクトを検出する等のために、使用されることができる。
ディスプレイシステム400は、ユーザが、コマンドをコントローラ450に入力し、ディスプレイシステム400と相互作用し得る、ユーザ入力デバイス466を含むことができる。例えば、ユーザ入力デバイス466は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含むことができる。ある場合には、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をディスプレイシステム400に提供してもよい(例えば、ユーザ入力をディスプレイシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス466は、ディスプレイシステム400の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス466は、ディスプレイシステム400と有線通信または無線通信することができる。
図5は、導波管によって出力された出射ビームの実施例を示す。1つの導波管が、図示されるが、導波管アセンブリ405内の他の導波管も、同様に機能してもよく、導波管アセンブリ405は、複数の導波管を含むことを理解されたい。光505が、導波管420の入力縁510において導波管420の中に投入され、全内部反射(TIR)によって導波管420内を伝搬する。光505が回折光学要素(DOE)460に衝突する点において、光の一部が、出射ビーム515として導波管から出射する。出射ビーム515は、略平行として図示されるが、それらはまた、導波管420と関連付けられた深度平面に応じて、ある角度で眼410に伝搬するように再指向されてもよい(例えば、発散出射ビームを形成する)。略平行出射ビームは、光を外部結合し、眼410から長距離(例えば、光学無限遠)において深度平面上に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、眼410がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼410に近い距離からの光として脳によって解釈されるであろう、より多く発散する出射ビームパターンを出力してもよい。
図6は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含む、ディスプレイシステム400の別の実施例を示す。ディスプレイシステム400は、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。ディスプレイシステム400は、1つまたはそれを上回る一次平面導波管604(1つのみのが図6に示される)と、一次導波管604の少なくともいくつかのそれぞれと関連付けられた1つまたはそれを上回るDOE608とを含むことができる。平面導波管604は、図4を参照して議論される導波管420、422、424、426、428に類似することができる。光学システムは、分散導波管装置を採用し、光を第1の軸(図6の図では、垂直またはY-軸)に沿って中継し、第1の軸(例えば、Y-軸)に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管612と、分散平面導波管612と関連付けられた少なくとも1つのDOE616(二重破線によって図示される)とを含んでもよい。分散平面導波管612は、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管604と類似または同じであってもよい。同様に、少なくとも1つのDOE616は、少なくともいくつかの点において、DOE608と類似または同じであってもよい。例えば、分散平面導波管612および/またはDOE616は、それぞれ、一次平面導波管604ならびに/もしくはDOE608と同一材料から成ってもよい。図6に示される光学システムは、図2に示されるウェアラブルディスプレイシステム200の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から1つまたはそれを上回る一次平面導波管604の中に光学的に結合される。一次平面導波管604は、好ましくは、第1の軸に直交する、第2の軸(例えば、図6の図では、水平またはX-軸)に沿って、光を中継する。着目すべきこととして、第2の軸は、第1の軸に対して非直交軸であることができる。一次平面導波管604は、その第2の軸(例えば、X-軸)に沿って、光の有効射出経路を拡張させる。例えば、分散平面導波管612は、光を垂直またはY-軸に沿って中継および拡張させ、光を水平もしくはX-軸に沿って中継および拡張させる、一次平面導波管604にその光を通過させることができる。
ディスプレイシステム400は、単一モード光ファイバ624の近位端の中に光学的に結合され得る、1つまたはそれを上回る有色光源(例えば、赤色、緑色、および青色レーザ光)620を含んでもよい。光ファイバ624の遠位端は、圧電材料の中空管628を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー632として、管628から突出する。圧電管628は、4つの象限電極(図示せず)と関連付けられることができる。電極は、例えば、管628の外側、外側表面もしくは外側周縁、または直径に鍍着されてもよい。コア電極(図示せず)もまた、管628のコア、中心、内側周縁、または内径に位置する。
例えば、ワイヤ640を介して電気的に結合される、駆動電子機器636は、対向する対の電極を駆動し、圧電管628を独立して2つの軸において屈曲させる。光ファイバ624の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ624の直径、長さ、および材料性質に依存し得る。圧電管628をファイバカンチレバー632の第1の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー632は、振動させられ、大偏向を通して掃引し得る。
2つの軸において共振振動を刺激することによって、ファイバカンチレバー632の先端は、2次元(2-D)走査を充填する面積内において2軸方向に走査される。光源620の強度をファイバカンチレバー632の走査と同期して変調させることによって、ファイバカンチレバー632から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第2014/0003762号(参照することによってその全体として本明細書に組み込まれる)に提供されている。
光学結合器サブシステムのコンポーネント644は、走査ファイバカンチレバー632から発せられる光をコリメートする。コリメートされた光は、ミラー付き表面648によって、少なくとも1つの回折光学要素(DOE)616を含有する、狭分散平面導波管612の中に反射される。コリメートされた光は、全内部反射によって分散平面導波管612に沿って(図6の図に対して)垂直に伝搬し、そうすることによって、DOE616と繰り返し交差する。DOE616は、好ましくは、低回折効率を有する。これは、光の一部(例えば、10%)をDOE616との交差点の各点においてより大きい一次平面導波管604の縁に向かって回折させ、光の一部をTIRを介して分散平面導波管612の長さを辿ってそのオリジナル軌道上で継続させる。
DOE616との交差点の各点において、付加的光が、一次導波管612の入口に向かって回折される。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管612内のDOE616によって垂直に拡張される。分散平面導波管612から外部結合された本垂直に拡張された光は、一次平面導波管604の縁に進入する。
一次導波管604に進入する光は、TIRを介して、一次導波管604に沿って(図6の図に対して)水平に伝搬する。光は、複数の点においてDOE608と交差するにつれて、TIRを介して、一次導波管604の長さの少なくとも一部に沿って水平に伝搬する。DOE608は、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。DOE608は、有利には、ビームの光の一部のみが、DOE608の各交差点において視認者の眼に向かって偏向される一方、光の残りが、TIRを介して、導波管604を通して伝搬し続けるように、低回折効率(例えば、10%)を有し得る。
伝搬する光とDOE608との間の交差点の各点において、光の一部は、一次導波管604の隣接面に向かって回折され、光がTIRから逃散し、一次導波管604の面から発せられることを可能にする。いくつかの実施形態では、DOE608の半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形(例えば、曲率を付与する)することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。
故に、これらの異なる経路は、異なる角度におけるDOE608の多重度、焦点レベル、および/または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管604の外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット(例えば、3層)が、個別の色(例えば、赤色、青色、緑色)を生成するために採用されてもよい。したがって、例えば、3つの隣接する層の第1のセットが、それぞれ、赤色、青色、および緑色光を第1の焦点深度において生成するために採用されてもよい。3つの隣接する層の第2のセットが、それぞれ、赤色、青色、および緑色光を第2の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル3Dまたは4Dカラー画像ライトフィールドを生成するために採用されてもよい。
例示的眼画像セット選択
頭部搭載型ディスプレイ(HMD)(例えば、図2に示されるウェアラブルディスプレイシステム200または図4および6におけるディスプレイシステム400)の装着者の眼が、内向きイメージングシステム452(例えば、図4参照)等のカメラを使用して撮像されることができる。眼画像セット選択技法は、カメラから得られたある眼画像を選択するために使用されることができる。選択された眼画像のセットは、種々のバイオメトリックアプリケーションのために使用されることができる。例えば、いくつかの実装では、内向きイメージングシステム452によって捕捉された画像は、眼姿勢を判定する(例えば、装着者の片眼または両眼の方向)、または虹彩コードを生成もしくは判定するために使用されることができる。
図2におけるローカル処理およびデータモジュール224および/または遠隔データリポジトリ232は、画像ファイル、ビデオファイル、または画像オーディオおよびビデオファイルを記憶することができる。例えば、種々の実装では、データモジュール224および/または遠隔データリポジトリ232は、ローカル処理およびデータモジュール224によって処理されるべき複数の眼画像を記憶することができる。ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、本明細書に開示される眼画像セット選択技法を使用して、バイオメトリック抽出において、例えば、装着者204の識別を識別または認証する、または姿勢推定において、例えば、各眼が見ている方向を判定するようにプログラムされることができる。例えば、処理モジュール224、228は、眼画像セット選択の側面を実行させられることができる。加えて、または代替として、図4におけるコントローラ450は、眼画像セット選択の側面を実行させるようにプログラムされることができる。
図2を参照すると、画像捕捉デバイスは、特定の用途のためのビデオ(例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手もしくは指のビデオ)を捕捉することができる。ビデオは、処理モジュール224、228の一方または両方によって、眼画像セット選択技法を使用して分析されることができる。本分析を用いて、処理モジュール224、228は、眼姿勢識別または検出および/またはバイオメトリック抽出等を行うことができる。実施例として、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、フレーム212に取り付けられたカメラから得られた眼画像を記憶するようにプログラムされることができる。加えて、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、本明細書に説明される技法(例えば、ルーチン700)を使用して、眼画像を処理し、ウェアラブルディスプレイシステム200の装着者の眼画像のセットを選択するようにプログラムされることができる。ある場合には、眼画像セット選択の少なくともいくつかを遠隔処理モジュール(例えば、「クラウド」内の)にオフロードすることは、算出の効率または速度を改良し得る。そのような眼画像セット選択は、眼画像内の焦点誤差、眼画像内に存在する照明効果、または眼画像内に存在する任意の他の画像歪曲の除去を促進することができる。そのような歪曲の除去を促進するために、眼画像内の虹彩の定量的表現が、眼画像の品質の測定として使用されることができる。例えば、虹彩コードが、眼画像の品質測定と関連付けられることができる。
概して説明すると、眼の虹彩(例えば、眼の画像内で得られるように)は、半径方向座標rおよび角度座標θを伴う極表現系にマップ(例えば、「展開」)されることができる。虹彩の面積の極性系におけるそのような表現は、眼画像のそのセクションに関する虹彩コードと称され得る。または別の実施形態では、虹彩は、最初に、極表現系にマップされた2つの角度寸法を用いてセグメント化されてもよい。故に、実施形態のいずれかでは、虹彩コードは、画像から抽出、生成、判定、または算出されることができる。極座標系内の虹彩の虹彩コードの実施例として、眼特徴の偏移が、ピクセル単位で測定されてもよく、これは、例えば、度単位において、角度座標の測定に変換されることができる。
虹彩コードは、種々の方法において算出されることができる。例えば、いくつかの実施形態では、虹彩コードは、John Daugmanによって開発された虹彩バイオメトリックに関するアルゴリズムに従って生成されることができる(例えば、米国特許第5,291,560号参照)。例えば、虹彩コードは、2次元帯域通過フィルタ(例えば、ガボールフィルタ)を用いた虹彩画像の畳み込み(極座標内)に基づくことができ、虹彩コードは、2ビット数として表されることができる(例えば、特定のガボールフィルタに対する応答が正であるかまたは負であるか)。
虹彩コードは、眼画像の画質を反映させることができる。例えば、確率論的視点から、虹彩コードは、より高い品質の画像が虹彩コードを生成するために使用されるとき、コード化されたビット内により少ない誤差を有し得る。故に、ある画質閾値を超過する画質を伴う眼画像を得ることが望ましくあり得る。種々の画質メトリックは、眼画像の品質を評価するために使用されることができる。例えば、眼画像は、限定ではないが、分解能(例えば、虹彩分解能)、焦点、焦点ずれ、鮮鋭度、ぼけ、非閉塞ピクセルまたは閉塞ピクセル(例えば、睫毛または眼瞼による閉塞)、グレア、閃光(例えば、角膜反射)、雑音、ダイナミックレンジ、階調再現、輝度、コントラスト(例えば、ガンマ)、色正確度、色飽和、白色化、歪曲、口径食、露光正確度、側方色収差、レンズフレア、アーチファクト(例えば、未加工変換の間等のソフトウェア処理アーチファクト)、および色モアレを含む、画像と関連付けられた種々の品質係数を有することができる。
これらの品質係数はそれぞれ、品質係数の測定と関連付けられた品質メトリックを有し得る。故に、関係が、ある品質メトリックと虹彩コード内の誤差の数との間で判定されることができる(例えば、標準的眼画像を使用した較正によって)。例えば、ぼけが少ない画像(例えば、捕捉されたときに基準眼画像に対してあまり移動していない眼)は、その画像の対応する虹彩コード内の誤差の数がより少なく、ぼけに関してより高い品質係数を示し得る。別の実施例として、画像内の非閉塞ピクセルの量は、その画像の対応する虹彩コード内の誤差の数に比例的に対応し得る(例えば、より高い数の非閉塞ピクセルは、対応する虹彩コード内の比例的により少ない数の誤差をもたらし得る)。また、ユーザが、瞬目またはカメラから移動するにつれて、非閉塞ピクセルの量は、減少し、非閉塞ピクセルに関してより低い品質係数につながり得る。閉塞(または非閉塞)ピクセルの量は、ピクセルの数またはパーセンテージ、閉塞(または非閉塞)の画像の面積等として定量化されてもよい。
図示されるように、これらの実施例を用いて、任意の眼画像が、眼画像の品質を反映させる、画質メトリック(例えば、実数値)qを算出するために使用されることができる。多くの場合、qは、より高い品質の画像に関してより高く(例えば、非閉塞ピクセルに関するqは、非閉塞ピクセルの量が増加するにつれて増加し得る)、高品質画像は、品質閾値を超過する(それを上回って増加する)、q値を有するものを含む。他の場合には、qは、より高い品質の画像に関してより低く(例えば、閉塞ピクセルに関するqは、閉塞ピクセルの量が減少するにつれて減少し得る)、高品質画像は、品質閾値を超過する(それを下回って減少する)、q値を有するものを含む。
いくつかの実装では、眼画像に関する品質メトリックは、画像に関して計算された複数のコンポーネント品質メトリックの組み合わせであってもよい。例えば、眼画像に関する品質メトリックは、種々の成分品質メトリックの加重された和であることができる。そのような品質メトリックは、有利には、異なるタイプの画像品質(例えば、非閉塞ピクセルの量、分解能、および焦点)を画質の単一の全体的測定に定量化し得る。
ある場合には、斜視補正は、眼画像に適用されることができる(例えば、イメージングカメラと眼との間の斜視の効果を低減させるために)。例えば、眼画像は、眼が、ある角度からではなく、視認される直線に現れるように、斜視補正されることができる。斜視補正は、ある場合には、眼画像の品質を改良することができる。いくつかの実施形態では、品質メトリックは、斜視補正された眼画像から計算されることができる。
眼画像と関連付けられた品質メトリックは、処理モジュール204、228内で算出または処理されることができる。例えば、いくつかの実装では、処理モジュール224、228は、得られた眼画像と関連付けられた画質メトリックを判定することができる。加えて、眼画像および眼画像毎の対応する複数の品質メトリックと関連付けられた種々の処理技法は、処理モジュール224、228において遂行されることができる。例えば、各判定された品質メトリックは、画質閾値Qと比較されることができる。画質閾値Qは、特定の品質メトリックに関する具体的品質レベルと関連付けられてもよい。一実施例にすぎないが、眼画像の分解能(例えば、品質メトリック)は、虹彩の分解能の観点から表されることができ、虹彩の分解能は、ピクセル単位の距離として表される。多くの用途では、虹彩詳細を捕捉するために、虹彩の半径方向分解能は、約70ピクセルを上回り、80~200ピクセルの範囲内であり得る。例えば、画質閾値は、虹彩の半径に関して130ピクセルであることができる。
例証として、虹彩の半径が110ピクセルである、得られた眼画像が、虹彩の半径に関する130ピクセルの画質閾値と比較されることができる。そのような画像は、閾値を超過し、したがって、さらなる処理において使用されるための眼画像のセットの一部として選択されないであろう。しかしながら、得られた眼画像が、150ピクセルである虹彩の半径を有する場合、その得られた眼画像は、さらなる眼画像処理のための画像のセットの一部として選択されてもよい。例えば、その得られた眼画像は、虹彩コードを生成するために使用されることができる。他の実装では、画質メトリックは、眼瞼間で可視の虹彩のパーセンテージであることができる。例えば、50%より低いパーセンテージは、眼画像が捕捉されたとき、眼が瞬目したことを示し得る。いくつかの実施形態では、画像は、画質メトリックが、60%、70%、75%、80%、90%、またはより高いパーセンテージとして表される、画質閾値を超過する場合、選択されることができる。
これらの実施例から分かるように、画質閾値は、得られた眼画像の画質を虹彩コードの後続生成に関連させ得る。画質閾値を超過する得られた眼画像は、虹彩コードを生成するためのセットの一部として選択されてもよい一方、画質閾値を超過する得られた眼画像は、選択されないであろう。以下にさらに説明されるように、図7では、ルーチン700は、画質閾値を超過しているかどうかおよび虹彩コードの生成においてそのような画像を利用するかどうかを判定するためのそのような眼画像の処理のための例示的ワークフローを描写する。
前述の実施例は、品質メトリックqと具体的画質閾値Qを比較するように説明されたが、これは、例証のためのものであって、限定することを意図するものではない。他の実装では、任意の閾値比較が、眼画像のセットを選択するときに使用されることができる。例えば、選択された眼画像のセットは、品質Qがサイズpの上位割合内にある、画像iの固定部分pであってもよく、pは、例えば、1%、5%、10%、15%、20%、25%、33%、または50%であることができる。別の実施例として、選択された眼画像のセットは、固定数の画像nであってもよく、n画像は、最高スコアQを伴い、nは、1、2、3、4、5、10、またはそれを上回ることができる。ある場合には、単一最良品質画像のみが、使用される(例えば、n=1)。画質閾値は、グレード(例えば、A、B、C、D、またはF)を表すことができ、閾値グレード(例えば、B)より高い画像が、分析において使用されることができる。
眼画像の選択されたセットは、眼画像が画像捕捉デバイス(例えば、内向きイメージングシステム452)からリアルタイムベースで得られるとき、メモリバッファの中にバッファされることができる。例えば、1つのバッファ実装では、バッファ内の各眼画像と関連付けられた品質メトリックが、付加的眼画像と比較され、それと関連付けられた同一または類似の品質メトリックを有するバッファに追加されることができる。付加的眼画像の品質メトリックは、バッファ内の眼画像の品質メトリックと比較され、付加的眼画像が、バッファに追加されるべきか、または以前にバッファされた眼画像のうちの1つと置換すべきかどうかを判定することができる。例えば、付加的眼画像は、付加的眼画像と関連付けられた品質メトリックがより低い品質メトリックを伴うバッファされた画像のうちの1つと関連付けられた品質メトリックを超過する場合、バッファされた画像のうちの1つに取って代わってもよい。
実施例として、品質メトリックである虹彩半径の観点から、バッファされた眼画像は、132ピクセル~150ピクセルの虹彩の半径を有する、眼画像を含有してもよい。これらのバッファされた眼画像は、132ピクセルより良好である付加的眼画像内の虹彩の半径を伴う付加的眼画像の前には、「好ましい」眼画像であることができる。付加的眼画像が145ピクセルにおける虹彩の半径を有すると、付加的眼画像は、132ピクセルにおける虹彩の半径を有する画像のうちの1つに取って代わることができる。故に、「好ましい」眼画像は、虹彩コードの生成のためにバッファ内に維持されることができる。前述の実施例は、「好ましい」眼画像のセットをバッファ内にバッファする状況において説明されたが、これは、例証のためのものであって、限定することを意図するものではない。他の実装では、任意の好適なバッファスキームが、眼画像をバッファするときに使用されることができる。
以下にさらに説明されるように、図7では、ルーチン700は、そのような眼画像が画質閾値を超過しているかどうかおよび虹彩コードの生成においてそのような画像を利用するかどうかを判定するためのそのような眼画像の処理のための例示的ワークフローを描写する。
いくつかのシナリオでは、眼画像は、画質閾値を超過しない場合があり、後続眼画像も、同一画質閾値を超過しない場合がある。故に、いくつかの実装では、処理モジュール224、228は、装着者204に提示されるグラフィックを使用して、画質閾値を超過する画像を得る、眼画像収集ルーチンを実装することができる。例えば、装着者204は、画像が装着者の眼から撮影される間、グラフィックに向かって見るように指示されることができる。グラフィックは、異なる眼姿勢における眼の画像が得られるように移動してもよい。そのようなルーチンは、虹彩コードの生成のために使用され得る、眼画像を得ることができる。種々のそのような眼画像収集ルーチンは、以下にさらに説明されるように、虹彩コードの生成のために眼画像を得る、または収集するために使用されることができる。
例示的眼画像セット選択ルーチン
図7は、例証的眼画像セット選択ルーチンのフロー図である。ルーチン700は、画質閾値を超過しているかどうかおよび虹彩コードの生成においてそのような画像を利用するかどうかを判定するための眼画像の処理のための例示的ワークフローを描写する。
ブロック704では、1つまたはそれを上回る眼画像が、得られる。眼画像は、限定ではないが、画像捕捉デバイス、頭部搭載型ディスプレイシステム、サーバ、非一過性コンピュータ可読媒体、またはクライアントコンピューティングデバイス(例えば、スマートフォン)を含む、種々のソースから得られることができる。
ルーチン700を継続すると、ブロック708では、画質メトリックが、得られた眼画像の少なくともいくつかに関して判定される。種々の実装では、画質メトリックは、眼画像セット選択の実施例に関して本明細書に説明される種々の画質メトリックに従って、眼画像毎に判定されることができる。例えば、眼画像の分解能(例えば、品質メトリック)が、虹彩の分解能の観点から表されることができ、虹彩の分解能は、ピクセル単位の距離として表される。
ブロック712では、眼画像毎に判定された画質メトリックが、個別の画質閾値と比較される。例えば、各眼画像が、ぼけの量を品質メトリックとして使用する場合、各眼画像のぼけが、ぼけ品質閾値と比較されることができる。代替として、いくつかの眼画像は、ぼけを使用してもよい一方、その他は、別の画質メトリック(例えば、色飽和、数、パーセンテージ、または面積非閉塞ピクセル等)を使用してもよい。その場合、その個別の品質メトリックに関する画質閾値が、比較のために使用されることができる。
ブロック716では、眼画像のセットが、画質閾値を満たすまたは超過する、対応する画質メトリックを伴って選択される。種々のタイプの画質メトリックでは、より良好な画像は、より大きい品質メトリックを有し、閾値を超過するために、画質メトリックは、閾値を上回って増加する。他のタイプの画質メトリックでは、より良好な画像は、より小さい品質メトリック(例えば、画像欠陥を定量化するメトリック)を有し、閾値を超過するために、画質メトリックは、閾値を下回って減少する。眼画像のセットは、種々のバイオメトリックアプリケーションのために使用されることができ、眼画像のセットは、ある画質閾値を超過するために判定される。故に、ブロック720では、眼画像の選択されたセットは、1つまたはそれを上回る虹彩コードを生成するために利用される。例えば、虹彩コードは、本明細書に説明される方法に従って生成されることができる(例えば、米国特許第5,291,560号参照)。
種々の実施形態では、ルーチン700は、ディスプレイシステム200の実施形態等のディスプレイシステムのハードウェアプロセッサ(例えば、処理モジュール224、228またはコントローラ450)によって行われてもよい。他の実施形態では、コンピュータ実行可能命令を伴う遠隔コンピューティングデバイスが、頭部搭載型ディスプレイシステムにルーチン700の側面を行わせることができる。例えば、遠隔コンピューティングデバイスは、画質メトリックを判定させられる、または画質閾値を超過する画質メトリックを伴う眼画像のセットを選択させられることができる。
例示的眼画像収集
頭部搭載型ディスプレイシステムは、処理モジュール224、228によって処理されるべき眼画像を収集する、または得るために、グラフィックまたは画像をディスプレイシステム装着者204に表示することができる。例えば、図2に示されるウェアラブルディスプレイシステム200または図4および6におけるディスプレイシステム400のユーザ(装着者204等)は、ウェアラブルディスプレイシステム200またはディスプレイシステム400のディスプレイ208上のグラフィックまたは画像を視認することができる。グラフィック(現実的に見えるまたは動画の蝶またはマルハナバチもしくはアバタ等)が、十分な眼画質の眼画像がディスプレイ208の1つまたはそれを上回る眼姿勢領域に関して得られるまで、ディスプレイ208の種々の眼姿勢領域に表示されることができる。例えば、眼画像の品質は、判定され、画質閾値と比較され、眼画像がバイオメトリックアプリケーション(例えば、虹彩コードの生成)のために使用され得る画質を有することを判定することができる。ある眼姿勢領域内の眼画像が画質閾値を超過しない、またはそれを満たさない場合、ディスプレイ208は、十分な眼画質の眼画像が得られるまで、その特定の領域内での1つまたはそれを上回るグラフィックの表示を継続するように構成されることができる。1つの特定の領域に表示される1つまたはそれを上回るグラフィックは、異なる実装において同一または異なることができる。例えば、グラフィックは、その特定の領域内において同一もしくは異なる場所または同一もしくは異なる配向に表示されることができる。
グラフィックは、ストーリーモードまたは装着者の片眼または両眼をディスプレイ208の異なる領域に向かって指向または誘引し得るモードを使用して、ディスプレイ208の種々の眼姿勢領域に表示されることができる。例えば、図8を参照して以下に説明される一実施形態では、蝶が、ディスプレイ208の種々の領域を横断して移動するように示されることができる。ディスプレイ208の種々の領域に表示されるグラフィックのインスタンスは、装着者の片眼または両眼をグラフィックのインスタンスが表示される1つまたはそれを上回る眼姿勢領域に向かって誘引または指向させる性質(例えば、異なる深度、色、またはサイズ)を有することができる。いくつかの実施形態では、ディスプレイ208の種々の領域に表示されるグラフィックは、装着者の片眼または両眼がグラフィックのインスタンスが表示される眼姿勢領域に向かって誘引されるように、変動する深度を有するように現れることができる。
図8は、頭部搭載型ディスプレイシステムのディスプレイ208上の例示的場面800を図式的に図示する。図8に描写されるように、ディスプレイ208は、移動するグラフィック805を伴う場面800を表示することができる。例えば、描写されるように、グラフィック805は、場面800全体を通して飛行するようにユーザに表示される、蝶であることができる。グラフィック805は、背景画像または場面(図8には図示せず)にわたって、またはその一部として表示されてもよい。種々の実施形態では、グラフィックは、アバタ(例えば、蝶または図1に示されるマルハナバチ140等、例えば、人物、動物、または物の擬人化)、またはディスプレイ208の特定の眼姿勢領域に表示されるように構成され得る、任意の他の画像もしくは動画であることができる。グラフィック805は、ユーザに調整されてもよい(例えば、年齢、不安レベル、成熟度、関心等に基づいて)。例えば、子供に不安を生じさせることを回避するために、グラフィック805は、子供向けのキャラクタ(蝶またはフレンドリーなマルハナバチ140等)であってもよい。別の実施例として、自動車が趣味のユーザに関して、グラフィック805は、レーシングカー等の車であることができる。したがって、ディスプレイ208の種々の領域内で移動する際、グラフィック805は、ウェアラブルディスプレイシステム200を使用して、装着者204にビデオ動画として表示され、そのように現れることができる。グラフィック805は、初期位置810aにおいて開始し、経路815に沿って、最終位置810bに進むことができる。例えば、描写されるように、グラフィック805は、時計回り様式において、ディスプレイを横断して(例えば、点線に沿って)、ディスプレイ208の異なる領域の中に移動することができる。別の実施例として、グラフィック805は、ディスプレイ208の異なる領域を横断して、ジグザグに現れる、またはランダムに移動することができる。1つの可能性として考えられるジグザグパターンは、領域820r1、820r2、820r4、820r0、820r3、820r5、820r7、および820r8であることができる。
ディスプレイ208は、図8では、例証のみのために、同じサイズの9つの領域820r0-820r8を有するように示される。ディスプレイ208の領域820r0-820r8の数は、異なる実装において異なることができる。ディスプレイの任意の数の領域が、グラフィックが領域毎に進み、眼がその個別の領域に向かって指向する間、眼画像を捕捉するために使用されることができる。例えば、眼姿勢領域の数は、2、3、4、5、6、9、12、18、24、36、49、64、128、256、1000、またはそれを上回ることができる。眼画像は、眼姿勢領域の一部または全部に関して捕捉されることができる。ディスプレイ208の領域820r0-820r8の形状は、長方形、正方形、円形、三角形、卵形、菱形等、異なる実装において異なることができる。いくつかの実施形態では、ディスプレイ208の異なる領域のサイズは、異なることができる。例えば、ディスプレイ208の中心により近い領域は、ディスプレイ208の中心からより離れた領域より小さいかまたはより大きくあることができる。別の実施例として、眼姿勢領域は、ディスプレイ208の半分、象限、または任意のセグメント化を備えることができる。
経路815は、良好な品質の眼画像を得ることが望ましい眼姿勢領域内、それを横断して、またはその周囲で移動することができ、経路815は、眼画像が望ましくない(例えば、概して、不良品質)または必要とされない(例えば、特定のバイオメトリックアプリケーションのために)眼姿勢領域を回避してもよい。例えば、バイオメトリックアプリケーション(例えば、虹彩コード生成)は、ユーザの眼が真っ直ぐ向けられる(例えば、眼姿勢領域820r0を通して)、眼画像を使用する傾向にあり得る。そのような場合では、グラフィック805は、主に、眼姿勢領域820r0内を移動し、眼姿勢領域820r1-820r8内を移動しない(またはあまり頻繁に移動しない)傾向にあり得る。経路815は、場面800の周辺領域と比較して、場面800の中心により集中されてもよい。他のバイオメトリックアプリケーション(例えば、眼の網膜の診断)では、網膜の中間または側方領域(中心窩から離れた)の画像が得られるように、ユーザが領域820r0から離れた(例えば、自然安静眼姿勢から離れた)方向に向かって見ている眼画像を得ることが望ましくあり得る。そのような用途では、グラフィック805は、場面の中心(例えば、領域820r0)と比較して、場面800の周縁(例えば、領域820r1-820r8)の周囲を移動する傾向にあり得る。経路815は、場面の周縁の周囲により集中し、場面の中心(例えば、図8に示される経路815に類似する)を回避する傾向にあり得る。
ディスプレイ208の眼姿勢領域820r0-820r8は、例証のみのために、ディスプレイ20内の水平および垂直の点線によって分離されるように描写される。そのような眼姿勢領域820r0-820r8は、説明の便宜上、境界され、眼画像が得られ得るように、装着者の眼が向くべきディスプレイ208の領域を表し得る。いくつかの実装では、図8に示される水平および垂直の点線は、ユーザに不可視である。いくつかの実装では、図8に示される水平線または点線は、ユーザに可視であって、装着者の1つまたはそれを上回る眼をディスプレイ208の特定の領域に向かって指向させてもよい。
図8に示される経路815は、例証であって、限定することを意図するものではない。経路815は、図8に示されるものと異なる形状を有することができる。例えば、経路815は、眼姿勢領域80r0-820r1のうちの1つまたはそれを上回るものを交差、再交差、または回避してもよく、直線、多角形、または湾曲等であってもよい。移動するグラフィック815の速度は、実質的に一定であることができる、または可変であることができる。例えば、グラフィック805は、ある眼姿勢領域(例えば、1つまたはそれを上回る眼画像が撮影される場所)内では、減速または停止してもよい、またはグラフィック805は、他の眼姿勢領域(例えば、眼画像が必要とされない、または所望されない場所)を通して加速またはスキップしてもよい。経路815は、連続または断続であることができる(例えば、グラフィック805は、ある眼姿勢領域にわたってまたはその周囲をスキップしてもよい)。例えば、図8を参照すると、グラフィック805が、眼姿勢領域820r4内の位置810bにあって、バイオメトリックアプリケーションが、ユーザの眼が眼姿勢領域820r8に向かって指向される眼画像を必要とする場合、ディスプレイシステムは、領域820r8に持続的に移動するように、グラフィック805を表示し得る(例えば、蝶が、場面を横断して、領域820r4から領域820r0を通して領域820r8の中に飛行する)、またはディスプレイシステムは、単に、領域820r4内でのグラフィック805の表示を停止し、次いで、領域820r8内のグラフィック805
の表示を開始し得る(例えば、蝶が、領域820r4から820r8に跳躍して現れるであろう)。
眼姿勢領域は、実2次元座標空間Rまたは正整数2次元座標空間(N>0の接続されたサブセットと見なされることができ、これは、装着者の眼姿勢の角度空間の観点から眼姿勢領域を規定する。例えば、一実施形態では、眼姿勢領域は、方位角偏向における特定のθminと特定のθmaxとの間および天頂偏向における特定のφminと特定のφmaxとの間にあることができる。加えて、眼姿勢領域は、特定の領域割当と関連付けられることができる。そのような領域割当は、ディスプレイ208上において、装着者204に現れないが、例証目的のために、図8に示される。領域は、任意の好適な様式において割り当てられることができる。例えば、図8に描写されるように、中心領域は、領域820r0を割り当てられることができる。描写される実施形態では、領域の付番は、略水平順次様式において進むことができ、中心領域は、領域820r0を割り当てられ、領域820r8を割り当てられる右下領域で終了する。そのような領域820r0-820r8は、眼姿勢領域と称され得る。他の実装では、領域は、図8に示されるものと異なるように付番または参照されることができる。例えば、左上領域は、領域820r0を割り当てられることができ、右下領域は、領域820r8を割り当てられることができる。
場面800は、VR表示モードにおいて、ウェアラブルディスプレイシステムによって提示されてもよく、装着者204には、グラフィック805が見えるが、外側世界は見えない。代替として、場面800は、ARまたはMR表示モードにおいて提示されてもよく、装着者204には、外側世界上に重畳された視覚的グラフィック805が見える。グラフィック805は、眼姿勢領域内に表示されるが、眼画像は、ウェアラブルディスプレイシステム200に結合された画像捕捉デバイス(例えば、図4では内向きイメージングシステム452)によって捕捉されることができる。一実施例にすぎないが、1つまたはそれを上回る眼画像は、ディスプレイ208の眼姿勢領域820r0-820r8のうちの1つまたはそれを上回るもの内で捕捉されることができる。例えば、描写されるように、グラフィック805は、初期位置810aにおいて開始し、ディスプレイ208のその左上眼姿勢領域(例えば、領域820r1)内に移動することができる。グラフィック805が、その左上眼姿勢領域内で移動するのに伴って、装着者204は、その眼をディスプレイ208のその領域に向かって指向させ得る。グラフィック805がディスプレイ208の左上眼姿勢領域内にある間に、カメラによって捕捉された1つまたはそれを上回る眼画像は、その方向を見ているときのある眼姿勢における眼を含むことができる。
本実施例を継続すると、グラフィック805は、経路815に沿って上中央眼姿勢領域(例えば、領域820r2)に移動してもよく、そこで、上中央領域に指向された眼姿勢を伴う眼画像が、捕捉されることができる。グラフィック805は、グラフィック805が領域820r4内の最終位置810bに到達するまで、本プロセス中、眼画像が断続的または持続的に捕捉される間、ディスプレイ208の種々の眼姿勢領域820r0-820r8に沿って移動することができる。1つまたはそれを上回る眼画像は、領域毎に捕捉されることができる、または眼画像は、グラフィック805が移動する領域の全てより少ない領域内で捕捉されてもよい。故に、捕捉された眼画像は、1つまたはそれを上回る異なる眼姿勢における眼の少なくとも1つの画像を含むことができる。眼姿勢は、以下にさらに説明されるであろうように、2つの角度の表現として表されることができる。
グラフィック805はまた、ある画質の画像が得られるかまたは捕捉されるまで、ディスプレイ208の眼姿勢領域内に留まることができる。本明細書に説明されるように、種々の画質メトリックが、ある眼画像が画質閾値(Q)を超過しているかどうかを判定するために利用可能である。例えば、画質閾値は、虹彩コードを生成するための画像メトリックレベルに対応する、閾値であることができる。故に、グラフィック805がディスプレイ208のある眼姿勢領域内にある間に捕捉された眼画像が、画質閾値を超過する場合、グラフィック805は、画質閾値を満たす、またはそれを超過する画像が得られるまで、その眼姿勢領域内に留まる(またはその眼姿勢領域に戻る)ことができる。画質閾値はまた、ディスプレイの特定の眼姿勢領域に関して定義されることができる。例えば、特定のバイオメトリックアプリケーションは、ディスプレイ208のある領域の暗色化を要求し得る。したがって、それらの領域に関する画質閾値は、暗色化されていない領域の画質閾値より高くあり得る。本画像収集プロセスの間、グラフィック805は、装着者の眼をその領域に向かって指向させ続ける、ストーリーモードまたは動画において継続することができる。
眼画像収集ルーチンはまた、虹彩コード内の脆弱ビットを補正するために使用されることができる。脆弱ビットは、眼画像間で非一貫的な(例えば、ビットがいくつかの眼画像に関してゼロであって同一虹彩の他の画像に関して1である実質的確率が存在する)虹彩コードのビットを指す。より具体的には、脆弱ビットは、眼画像の虹彩コード内で弱く定義されたビットであり得、これは、測定における経験的非信頼性を表し得る。脆弱ビットは、例えば、ベルヌーイ分布のパラメータにおける不確実性に関するベイズモデルを利用して定量化されてもよい。脆弱ビットはまた、例えば、典型的には、眼瞼によって被覆される、または睫毛によって閉塞される、面積を表すそれらのビットとして識別されてもよい。眼画像収集ルーチンは、グラフィック805を利用して、眼を異なる眼姿勢に能動的に誘導し、それによって、結果として生じる虹彩コードに及ぼす脆弱ビットの影響を低減させることができる。一実施例にすぎないが、グラフィック805は、眼を眼瞼または睫毛によって閉塞されない眼姿勢領域に誘導することができる。加えて、または代替として、マスクが、眼画像に適用され、脆弱ビットの影響を低減させることができる。例えば、マスクは、脆弱ビットを生成するとして識別された眼領域(例えば、閉塞が生じる可能性が高い虹彩の上側または下側部分)が虹彩生成のために無視され得るように適用されてもよい。さらに別の実施例として、グラフィック805は、脆弱ビットを生成する可能性がより高い眼姿勢領域に戻って、より多くの眼画像をそれらの領域から得て、それによって、結果として虹彩コードに及ぼす脆弱ビットの影響を低減させてもよい。
グラフィック805はまた、いくつかの画像が特定の眼姿勢領域に関して捕捉される、または得られるまで、ディスプレイ208の眼姿勢領域に留まる(またはそこに戻る)ことができる。すなわち、各眼画像の画質メトリックと画質閾値を「オンザフライ」で、またはリアルタイムで比較する代わりに、ある数の眼画像が、各眼姿勢領域から得られることができる。次いで、その眼姿勢領域に関して得られた眼画像はそれぞれ、画質メトリックを得るために処理されることができ、これは、順に、個別の画質閾値と比較される。理解されるように、眼画像収集プロセスの眼姿勢領域は、用途の必要性または要件に応じて、並行して、またはシーケンスで行われることができる。
本眼画像収集ルーチンの間、グラフィックは、種々のモードにおいて、ディスプレイ208の1つまたはそれを上回る眼姿勢領域に表示されることができる。例えば、グラフィックは、ランダムモード、飛行モード、明滅モード、変動モード、またはストーリーモードにおいて、ディスプレイの特定の眼姿勢領域(または2つまたはそれを上回る眼姿勢領域を横断して)に表示されることができる。ストーリーモードは、グラフィックが関わり得る、種々の動画を含有することができる。ストーリーモードの一実施例にすぎないが、蝶が、繭から出現し、ディスプレイ208の特定の領域の周囲を飛行し得る。蝶が飛び回るにつれて、花が、蝶が蜜を回収し得るように現れ得る。理解されるように、蝶のストーリーは、ディスプレイ208の特定の領域に、またはディスプレイ208の2つまたはそれを上回る領域を横断して表示されることができる。
変動モードでは、蝶の羽根が、ディスプレイ208の特定の領域内で飛び回るにつれて、サイズが変動されるように現れ得る。ランダムモードでは、特定の領域内のグラフィック805の正確な場所は、ランダム化されることができる。例えば、グラフィック805は、単に、左上領域の異なる場所に現れてもよい。別の実施例として、グラフィック805は、初期位置810aから開始し、左上眼姿勢領域内において部分的にランダム様式において移動してもよい。明滅モードでは、蝶または蝶の群れが、ディスプレイ208の特定の領域内に、または2つまたはそれを上回る領域を横断して、明滅するように現れてもよい。種々のモードが、ディスプレイ208の種々の眼姿勢領域内において可能性として考えられる。例えば、グラフィック805は、ストーリーモードでは、初期位置810aにおける左上領域内に現れてもよい一方、グラフィック805は、明滅モードを使用して、最終位置810bにおいて中央左領域内に現れてもよい。
グラフィックはまた、種々のモードにおいて、ディスプレイ208の眼姿勢領域820r0-820r8全体を通して表示されることができる。例えば、グラフィックは、ランダムまたは順次様式(それぞれ、ランダムモードまたは順次モードと称される)において現れることができる。本明細書に説明されるように、グラフィック805は、ディスプレイ208の種々の領域を通して、順次様式において移動することができる。その実施例を継続すると、グラフィック805は、ディスプレイ208の眼姿勢領域間の介在動画を使用して、経路815に沿って移動してもよい。別の実施例として、グラフィック805は、介在動画を伴わずに、ディスプレイ208の異なる領域内に現れてもよい。さらに別の実施例として、第1のグラフィック(例えば、蝶)は、第1の眼姿勢領域内に現れることができる一方、別のグラフィック(例えば、マルハナバチ)は、第2の眼姿勢領域内に現れることができる。
一実施形態では、異なるグラフィックは、1つの領域から次の領域に直列に現れることができる。または、別の実施形態では、種々のグラフィックは、異なるグラフィックが、異なる眼姿勢領域内に現れ、ストーリーを伝えるように、ストーリーモードにおいて使用されることができる。例えば、繭が、1つの眼姿勢領域内に現れ、次いで、蝶が別の領域内に現れてもよい。種々の実装では、異なるグラフィックはまた、眼画像収集プロセスが、各眼姿勢領域内に現れる異なるグラフィックに伴って、眼を1つの眼姿勢領域から別の領域に指向し得るにつれて、眼姿勢領域を通してランダムに分散されて現れてもよい。
眼画像はまた、ランダム様式において得られることができる。したがって、グラフィック805はまた、ランダム様式において、ディスプレイ208の種々の眼姿勢領域に表示されることができる。例えば、グラフィック805は、図8では、上中央領域に現れることができ、いったん眼画像が、その領域に関して得られると、グラフィック805は、その後、ディスプレイ208の右下眼姿勢領域(例えば、領域820r8を割り当てられる)内に現れてもよい。別の実施例として、グラフィック805は、見掛け上ランダムな方法において表示されてもよく、グラフィック805が他の領域に表示されるまで、個々の領域に重複を伴わずに、各眼姿勢領域上において、少なくとも1回、グラフィック805を表示する。ディスプレイのそのような擬似ランダム様式は、画質閾値またはある他の用途のために十分な数の眼画像が得られるまで、生じてもよい。故に、装着者の片眼または両眼に関する種々の眼姿勢が、順次様式ではなく、ランダム様式において得られることができる。
ある場合には、眼画像が、閾値試行回数後、ある眼姿勢領域に関して得られることができない(例えば、眼姿勢領域に関して捕捉された3つの眼画像が画質閾値を超過しない)場合、眼画像収集ルーチンは、その眼姿勢領域をスキップする、または1つまたはそれを上回る他の眼姿勢領域から先に眼画像を得る間、ある時間周期にわたって収集を一時停止してもよい。一実施形態では、眼画像収集ルーチンは、眼画像が閾値試行回数後に得られることができない場合、ある眼姿勢領域に関する眼画像を得ない場合がある。
眼姿勢は、自然安静姿勢(例えば、ユーザの顔および視線の両方が、ユーザの前方の離れたオブジェクトに向かうであろうように配向される)に関して説明されることができる。眼の自然安静姿勢は、自然安静姿勢にあるときの眼の表面に直交する(例えば、直接、眼の平面から外れる)方向である、自然安静位置によって示されることができる。眼が、移動し、異なるオブジェクトに向かって見るにつれて、眼姿勢は、自然安静位置に対して変化する。したがって、現在の眼姿勢は、眼姿勢方向を参照して測定されることができ、これは、眼の表面に直交する(および瞳孔内に心合される)が、眼が現在指向されるオブジェクトに向かって配向される、方向である。
例示的座標系を参照すると、眼の姿勢は、眼の眼姿勢方向の方位角偏向および天頂偏向を示す2つの角度パラメータとして表されることができ、これらは両方とも眼の自然安静位置に対するものである。これらの角度パラメータは、θ(基準方位角から測定された方位角偏向)およびφ(時として、極性偏向とも称される、天頂偏向)として表されることができる。いくつかの実装では、眼姿勢方向の周囲の眼の角度ロールは、眼姿勢の測定に含まれることができ、角度ロールは、以下の分析に含まれることができる。他の実装では、眼姿勢を測定するための他の技法、例えば、ピッチ、ヨー、および随意に、ロール系も、使用されることができる。眼姿勢に関するそのような表現を使用して、方位角偏向および天頂偏向として表される眼姿勢は、特定の眼姿勢領域と関連付けられることができる。故に、眼姿勢は、眼画像収集プロセスの間に得られた各眼画像から判定されることができる。眼姿勢、眼領域、眼画像間のそのような関連付けは、データモジュール224、232内に記憶される、または処理モジュール224、228にアクセス可能(例えば、クラウド記憶装置を介してアクセス可能)にされることができる。
眼画像はまた、選択的に得られることができる。例えば、特定の装着者のある眼画像は処理モジュール224、228によって、すでに記憶されている、またはアクセス可能であり得る。別の実施例として、特定の装着者に関するある眼画像は、ある眼姿勢領域とすでに関連付けられている場合がある。そのような場合、グラフィック805は、その眼姿勢領域または特定の眼姿勢領域と関連付けられた眼画像を有していない、1つのみの眼姿勢領域または特定の眼姿勢領域内に現れてもよい。例証として、眼画像は、眼領域番号1、3、6、および8に関して得られているが、他の眼姿勢領域2、4、5、および7では、得られていない場合がある。故に、グラフィック805は、画質メトリック閾値を超過する個別の眼姿勢領域毎に、眼画像が得られるまで、後者の姿勢領域2、4、5、および7内に現れてもよい。
以下にさらに説明されるように、図9では、ルーチン900は、画質閾値を超過しているかどうかおよび虹彩コードの生成においてそのような画像を利用するかどうかを判定するための眼画像の収集のための例示的ワークフローを描写する。故に、いくつかの実装では、処理モジュール224、228は、眼画像収集ルーチンを実装し、グラフィックを使用して、画質閾値を超過する画像を得ることができる。例えば、処理モジュール224、228は、眼画像セット収集ルーチンの側面を実行させられることができる。加えて、または代替として、コントローラ450は、眼画像セット収集ルーチンの側面を実行させるようにプログラムされることができる。いくつかのシナリオでは、本明細書に説明される種々の眼画像収集ルーチンを使用して、眼姿勢領域毎に、画質閾値を超過する眼画像を得ると、種々の技法が、虹彩コードを生成または抽出する際に使用するために、眼画像(または眼画像の表現)を組み合わせる、またはマージするために使用されることができる。種々のそのような眼画像組み合わせルーチンは、以下にさらに説明されるように、虹彩コードの生成のために使用されることができる。
眼画像収集ルーチンの実施例
図9は、例証的眼画像収集ルーチンのフロー図である。ルーチン900は、グラフィックおよび1つまたはそれを上回る画質閾値を使用して、眼画像を収集するための例示的ワークフローを描写する。ブロック904では、眼姿勢領域が、頭部搭載型ディスプレイのディスプレイ等のディスプレイの表示領域と関連付けられた。例えば、第1の眼姿勢領域は、ディスプレイの左上領域であってもよく、第2の眼姿勢領域は、ディスプレイの右下領域であってもよい。
ブロック908では、グラフィックは、第1の眼姿勢領域に表示される。例えば、本明細書に説明されるように、グラフィックは、蝶の動画であることができる。ブロック912では、第1の眼画像が、第1の眼姿勢領域と関連付けられて得られる。例えば、グラフィックが左上ディスプレイ領域に表示される間、画像捕捉デバイスは、左上眼姿勢領域と関連付けられた第1の眼画像を捕捉することができる。画像捕捉デバイスは、図452に示される内向きイメージングシステム452であることができる。
ブロック9216では、第1の眼画像の画像メトリックは、第1の画質閾値を超過することが判定される。例えば、第1の眼画像のぼけメトリックが、ぼけ品質閾値を超過し得る。これは、第1の眼姿勢領域内で得られた第1の眼画像の品質がバイオメトリックアプリケーションにおいて利用されるために十分な品質であることを示し得る。本明細書に説明されるように、種々の画質メトリックが、可能性として考えられる。別の実施形態では、第1の眼画像の色飽和メトリックが、その第1の眼画像に関して色飽和閾値を超過しているかどうかことを判定するために使用されることができる。色は、視覚的色(例えば、赤色、緑色、青色等)を含むことができる。赤外線画像に関して、色は、赤外線内の種々のスペクトル帯域(例えば、700nm~800nm、800nm~900nm等)を含むことができる。いくつかのインスタンスでは、眼画像のコントラストが、近赤外線内で増加されることができ(約700nmから約1000nmに)、画像収集900ルーチンは、ブロック912では、近赤外線画像を得てもよい。
代替として、または加えて、ブロック916では、第1の眼画像の画像メトリックが、第1の画質閾値を超過すると判定された場合、付加的画像が、その同一の第1の眼姿勢領域内で得られることができる。例えば、第1の眼画像のぼけメトリックが、ぼけ品質閾値を超過し得る。そのような画質閾値を超過することは、得られた眼画像がバイオメトリックアプリケーションにおいて利用されるために十分な品質ではないことを示し得る。本明細書に議論されるように、画質メトリックが増加画質を示すために増加するかまたは減少するかに応じて、閾値の超過は、文脈に応じて、適宜、上回って超過する、またはそれを下回って超過することを意味し得る。故に、グラフィックはさらに、ディスプレイの特定の眼姿勢領域に表示されることができる。グラフィックは、さらなる眼画像が得られ得るように、ディスプレイの左上部分に動画化されるかまたは表示され続けることができる。眼画像の画像メトリックが、判定され、画質閾値と比較されることができる。ぼけ品質閾値を超過する画像メトリックを有する、眼画像が得られると、その眼画像は、第1の画質閾値を超過すると判定された第1の眼画像(本実施例では、ディスプレイの対応する第1の眼姿勢領域)と見なされることができる。
ブロック920では、グラフィックは、第2の眼姿勢領域に表示される。例えば、本明細書に説明されるように、グラフィックは、左上ディスプレイ領域から右下ディスプレイ領域に経路に沿って進行する、蝶の動画であることができる。ブロック924では、第2の眼画像は、第2の眼姿勢領域と関連付けられて得られる。例えば、グラフィックが、右下ディスプレイ領域に表示される間、画像捕捉デバイスは、第2の眼画像を捕捉することができ、これは、次いで、その右下ディスプレイ領域(例えば、第2の眼姿勢領域)と以前に関連付けられたその対応する眼姿勢領域と関連付けられる。
ブロック928では、第2の眼画像の画像メトリックが、第2の画質閾値を超過することが判定される。例えば、第2の眼画像のぼけメトリックは、ぼけ品質閾値を超過し得る(例えば、第2の画質メトリックに関して使用されるぼけ品質閾値は、第1の画質メトリックに関して使用される同一ぼけ品質閾値であることができる)。これは、第2の眼姿勢領域内で得られた第2の眼画像の品質がバイオメトリックアプリケーションにおいて利用されるために十分な品質であることを示し得る。
ブロック932では、虹彩コードが、第1の眼画像および第2の眼画像に基づいて、ヒトの眼に関して判定される。例えば、第1および第2の眼画像からの虹彩画像が、本明細書に説明される種々の技法に従って、虹彩コードを生成するために使用されることができる。ブロック940では、判定された虹彩コードは、バイオメトリックアプリケーションまたは頭部搭載型ディスプレイの画像ディスプレイのために利用されることができる。例えば、一実施形態では、判定された虹彩コードは、第1および第2の眼画像の関連付けられた眼に関する眼姿勢を判定するために利用されることができる。
種々の実施形態では、ルーチン900は、ディスプレイシステム200の実施形態等の頭部搭載型ディスプレイシステムのハードウェアプロセッサによって行わてもよい。他の実施形態では、コンピュータ実行可能命令を伴う、遠隔コンピューティングデバイスは、頭部搭載型ディスプレイシステムに、ルーチン900の側面を行わせることができる。例えば、遠隔コンピューティングデバイスは、グラフィックを第1の眼姿勢領域内に表示させられる、またはバイオメトリックアプリケーションのために判定された虹彩コードを利用させられることができる。
例示的眼画像の組み合わせ
上記に説明されるように、頭部搭載型ディスプレイ(HMD)(例えば、図2に示されるウェアラブルディスプレイシステム200または図4および6におけるディスプレイシステム400)の装着者の眼が、カメラまたは内向きイメージングシステム452(例えば、図4参照)等の画像捕捉デバイスを使用して撮像されることができる。眼画像組み合わせ技法は、画像捕捉デバイスから得られたある眼画像を1つまたはそれを上回るハイブリッド眼画像に組み合わせる、またはマージするために使用されることができる。ハイブリッド眼画像は、種々のバイオメトリックアプリケーションのために使用されることができる。例えば、いくつかの実装では、ハイブリッド眼画像は、眼姿勢(例えば、装着者の片眼または両眼の方向)を判定する、または虹彩コードを生成するために使用されることができる。
本明細書に説明されるように、ローカル処理およびデータモジュール224および/または遠隔データリポジトリ232は、画像ファイル、オーディオファイル、またはビデオファイルを記憶することができる。例えば、種々の実装では、データモジュール224および/または遠隔データリポジトリ232は、ローカル処理およびデータモジュール224によって処理されるべき複数の眼画像を記憶することができる。ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、本明細書に開示される眼画像組み合わせ技法を使用して、バイオメトリック抽出または生成において、例えば、装着者204を識別するかまたはその識別を認証するようにプログラムされることができる。代替として、または加えて、処理モジュール224、228は、本明細書に開示される眼画像組み合わせ技法を使用して、眼姿勢推定において、例えば、各眼が見ている方向を判定するようにプログラムされることができる。
画像捕捉デバイスは、特定の用途のためのビデオ(例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手もしくは指のビデオ)を捕捉することができる。ビデオは、処理モジュール224、228の一方または両方によって
、眼画像セット選択技法を使用して分析されることができる。本分析を用いて、処理モジュール224、228は、眼組み合わせ技法および/またはバイオメトリック抽出または生成等を行うことができる。実施例として、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、フレーム212に取り付けられた1つまたはそれを上回る画像捕捉デバイスから得られた眼画像を記憶するようにプログラムされることができる。加えて、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、本明細書に説明される技法(例えば、ルーチン1000)を使用して、眼画像を処理し、ウェアラブルディスプレイシステム200の装着者204の眼画像を組み合わせるようにプログラムされることができる。例えば、処理モジュール224、228は、眼画像組み合わせ技法の側面を実行させられることができる。加えて、または代替として、コントローラ450は、眼画像組み合わせ技法の側面を実行させるようにプログラムされることができる。
ある場合には、眼画像セット選択技法の少なくともいくつかを遠隔処理モジュール(例えば、「クラウド」内)にオフロードすることは、算出の効率または速度を改良し得る。そのような眼画像選択技法は、眼画像の焦点誤差、眼画像内に存在する照明効果、または眼画像内に存在する任意の他の画像歪曲の除去を促進することができる。例えば、そのような歪曲の除去を促進するために、本明細書に開示される眼画像選択技法は、有利には、眼瞼によって閉塞される虹彩の部分を推定するために使用されることができる。組み合わせ技法は、いくつかの眼画像を、眼画像のそれぞれの一部を表す、単一眼画像に組み合わてもよい。
概して説明すると、眼画像は、画像融合技法または虹彩コードマージ技法を使用して、組み合わせられることができる。例えば、画像融合技法は、種々の画像融合方法(例えば、超分解能)を通して、複数の画像を組み合わせ、単一ハイブリッド画像を生成することができ、そこから、虹彩コードを抽出または生成する(例えば、画像融合技法の例示的ワークフローを描写する、図10を参照して説明されるルーチン1000)。例えば、虹彩コードマージ技法は、眼画像毎に1つの虹彩コードを個々に生成し、次いで、算出された虹彩コードを単一虹彩コードに組み合わせることができる。種々の実装では、眼画像セット選択技法(本明細書に説明されるように)が、本明細書に説明される技法に従って、その個別の虹彩コードを組み合わせる、またはマージするために眼画像を選択するために使用されてもよい。
例示的画像融合技法
画像融合技法の例示的実装では、眼画像が、内向きイメージングシステム452等によって、本明細書に説明される種々の様式において得られることができる。眼画像は、ヒトの眼の虹彩を含むことができる。眼姿勢は、眼画像に関して推定または判定されることができる。例えば、本明細書に説明されるように、眼姿勢は、眼の眼姿勢方向の方位角偏向および天頂偏向を示す2つの角度パラメータとして表されることができ、これらは両方とも眼の自然安静位置に対するものである。そのような表現は、眼画像のデジタル表現として表されることができる。すなわち、判定された眼姿勢は、得られた画像を表す。
判定された眼姿勢は、例えば、特定の領域割当と関連付けられた眼姿勢領域に割り当てられることができる。例えば、眼画像は、ディスプレイ208の特定の眼姿勢領域と関連付けられることができる。図8に関して本明細書に説明されるように、ディスプレイ208の種々の眼姿勢領域820r0-820r8は、眼画像が得られる眼姿勢領域に対応する領域番号を割り当てられることができる。概して、ディスプレイの領域と関連付けられた領域割当を含む、任意のディスプレイ分類が、得られた眼画像とその分類を関連付けるために使用されることができる。一実装では、判定された眼姿勢は、姿勢象限(例えば、4つの眼姿勢領域を伴うディスプレイの領域)に割り当てられてもよい。例えば、眼画像は、ディスプレイ208の4つの眼姿勢領域(または、本実施例では、眼姿勢象限)に関して得られてもよい。各眼画像は、姿勢象限、したがって、姿勢象限のうちの1つと関連付けられた判定された眼姿勢のうちの1つと関連付けられてもよい。他の実装では、より少ない(例えば、2)またはそれを上回る(例えば、4、5、6、9、12、18、24、36、49、64、128、256、1000、またはそれを上回る)眼姿勢領域が、眼画像を得るために使用されることができる。本明細書に説明されるように、いくつかの実装では、複数の眼画像が、ビン毎に得られることができ、画質閾値を超過する画質メトリックを有する画像のサブセットのみが、後続虹彩コード生成において使用するために留保される。
画像融合技法の例示的実装を継続すると、眼画像または判定された眼姿勢表現は、それぞれ、ハイブリッド眼画像またはハイブリッド眼姿勢表現に組み合わせられることができる。例えば、特定の姿勢領域と関連付けられた各画像が、全体的融合画像に寄与するために使用されることができる。融合された画像は、個々の画像の加重された和であることができる。例えば、画像内のピクセルが、本明細書に説明される品質係数Qに基づいて、加重を割り当てられてもよく、加重は、Qがより大きい場合、より大きくなる。他の画像融合技法も、使用されることができ、例えば、超分解能、ウェーブレット変換画像融合、主成分分析(PCA)画像融合、高域通過フィルタ処理、高域通過変調、ペアワイズ空間周波数合致画像融合、空間ドメイン、または変換ドメイン画像融合等を含む。画像融合技法は、強度-色相-飽和(IHS)、ブロービー変換、a trousアルゴリズムベースのウェーブレット変換、極性虹彩テクスチャのグレーレベルピクセルの直接融合、およびマルチ分解能分析ベースの強度変調(MRAIM)技法を含むことができる。
融合された画像を用いて、虹彩コードが、眼画像セット選択ルーチンの実施例に関して本明細書に説明されるように生成されることができる。生成された虹彩コードは、得られた眼画像に関する全体的虹彩コードを表すことができる。
例示的虹彩コード融合技法
虹彩コードマージ技法の例示的実装では、眼画像が、内向きイメージングシステム452等によって、本明細書に説明される種々の様式において得られることができる。眼姿勢は、眼画像に関して推定または判定されることができる。例えば、本明細書に説明されるように、眼姿勢は、眼の眼姿勢方向の方位角偏向および天頂偏向を示す2つの角度パラメータとして表されることができ、これらは両方とも眼の自然安静位置に対するものである。そのような表現は、眼画像のデジタル表現として表されることができる。すなわち、判定された眼姿勢は、得られた画像を表す。
判定された眼姿勢は、特定の領域割当と関連付けられた眼姿勢領域に割り当てられることができる。例えば、眼画像は、ディスプレイ208の特定の眼姿勢領域と関連付けられることができる。図8に関して本明細書に説明されるように、ディスプレイ208の種々の眼姿勢領域は、眼画像が得られた眼姿勢領域に対応する領域割当と関連付けられることができる。一実装では、判定された眼姿勢は、姿勢象限(例えば、4つの眼姿勢領域を伴うディスプレイの領域)に割り当てられてもよい。例えば、眼画像は、ディスプレイ208の4つの眼姿勢領域(または、本実施例では、眼姿勢象限)に関して得られてもよい。各眼画像は、姿勢象限、したがって、姿勢象限のうちの1つと関連付けられた判定された眼姿勢のうちの1つと関連付けられてもよい。他の実装では、より少ない(例えば、2)またはそれを上回る(例えば、4、5、6、9、12、18、24、36、49、64、128、256、1000、またはそれを上回る)眼姿勢領域が、眼画像を得るために使用されることができる。本明細書に説明されるように、いくつかの実装では、複数の眼画像は、ビン毎に得られることができ、画質閾値を超過する画質メトリックを有する画像のサブセットのみが、後続虹彩コード生成において使用するために留保される。
虹彩コードマージ技法の例示的実装を継続すると、虹彩コードが、得られた眼画像毎に生成されることができる。例えば、虹彩コードは、眼画像セット選択ルーチンの実施例に関して本明細書に説明されるように、眼画像に関して判定されることができる。各虹彩コードはまた、関連付けられていると判定された眼画像の姿勢領域と関連付けられることができる。各眼画像の虹彩コードは、メディアンフィルタ、ベイズフィルタ、または虹彩コードをハイブリッド虹彩コード(また、マージされた虹彩コードと称される)にマージするように構成される任意のフィルタを使用して、組み合わせられる、または融合されることができる。例えば、マージされた虹彩コードは、コード内の脆弱ビット(例えば、0と1との間で頻繁に変化するビット)を識別し、そのような脆弱ビットをマージまたはマスクすることによって、生成されることができる。別の実施例では、マージされた虹彩コードは、個々の虹彩コードの加重された和であって、加重は、各個々の虹彩コードの品質に基づく。例えば、特定の眼姿勢領域と関連付けられた各虹彩コードが、全体的ハイブリッド虹彩コードに寄与するために使用されることができる。ハイブリッド虹彩コードは、本明細書に説明されるように生成されることができる。ハイブリッド虹彩コードは、得られた眼画像に関する全体的虹彩コードを表すことができる。
例示的信頼度スコア
いくつかの実装では、信頼度スコアが、判定された虹彩コードと関連付けられることができる。すなわち、画像融合技法または虹彩コードマージ技法を使用して、判定された虹彩コードが、信頼度スコアを割り当てられることができる。信頼度スコアは、サンプリングされた領域の多様性に基づいて、結果として生じる虹彩コードに割り当てられることができる。サンプリングされた領域の多様性は、例えば、組み合わせられた虹彩コードを生成するために使用される、眼画像によって表される姿勢領域の数または異なる領域割当を伴う眼画像の表現であることができる。信頼度スコアは、サンプリングされた姿勢領域の任意の関数に基づいて、判定されることができる。一実施例にすぎないが、ゼロのスコアは、可能性として考えられる領域のいずれもサンプリングされない場合に割り当てられることができる。別の実施例として、n/Nのスコアは、N個の可能性として考えられる領域からサンプリングされたn個の領域のみを有する、任意の測定に割り当てられ得る。別の実装では、眼画像自体の分析(例えば、眼姿勢を判定する)が、その眼画像内のあるセルと関連付けられた確率または信頼度スコアを生成してもよい。そのような場合では、全体的確率または全体的信頼度はまた、その眼画像の個々のセル特有の確率に基づいて生成されることができる。例えば、個々のセル特有の確率は、全体的確率を生成するために乗算されることができる。別の実装では、画質閾値は、信頼度スコアを判定するために使用されることができる。
信頼度スコアは、種々のバイオメトリックアプリケーションのために利用されることができる。例えば、バイオメトリックアプリケーションは、信頼度スコアに定量的に関連する、バイオメトリックセキュリティ信頼度閾値を使用することができる。例えば、バイオメトリックセキュリティ信頼度閾値は、バイオメトリックデータと関連付けられたアプリケーションのためのアクセスレベルに関連することができる。アクセスレベルは、アカウント信頼度スコアにアクセスするための画質レベルであることができる。本明細書に説明されるように、画質レベルは、得られた眼画像の画質メトリックに基づいて判定されることができる。故に、得られた眼画像の画質レベルは、バイオメトリックセキュリティ信頼度閾値に暗示的に関連することができる。信頼度スコアがバイオメトリックセキュリティ信頼度閾値を超過しない場合、頭部搭載型ディスプレイを用いて処理モジュール224、228上で実行する、バイオメトリックデータと関連付けられた任意のアプリケーションは、実行を終了させられることができる。そのような場合では、付加的画像は、本明細書に説明されるように、画像収集ルーチン(例えば、ルーチン900)を使用して収集され、ある画質レベルまたは閾値に対応する付加的画像を取得することができる。
信頼度スコアが、バイオメトリックセキュリティ信頼度閾値を超過する場合、承認インジケーションが、頭部搭載型ディスプレイのディスプレイ(例えば、ディスプレイ208)上に表示させられることができる。例えば、承認インジケーションは、HMDのディスプレイ上のセキュリティバー、HMDのオーディオユニットから放出される音、HMDのディスプレイ上のテキストインジケーション、または前述のいずれかの組み合わせのいずれかであることができる。一実装では、承認インジケーションが頭部搭載型ディスプレイ上に表示された後、金融取引のためのアプリケーションへのアクセスのための要求が、処理モジュール224、228から伝送されることができる。
前述の実施例は、ディスプレイ208に表示されるための承認インジケーションに関して説明されたが、これは、例証のためのものであって、限定することを意図するものではない。他の実装では、任意の承認インジケーションは、信頼度スコアに基づくことができる。例えば、信頼度スコアは、承認インジケーションを生成するために使用されることができ、バイオメトリックデータは、処理モジュール224、228のためのクラウドベースの算出において処理される。例えば、承認インジケーションは、金融取引のアプリケーションのための承認の表現であることができる。
例示的眼画像の組み合わせルーチン
図10は、例証的眼画像組み合わせルーチン1000のフロー図である。ルーチン1000は、画像融合技法(例えば、眼画像組み合わせの実施例に関して本明細書に説明される画像融合技法)を使用して、眼画像を組み合わせるための例示的ワークフローを描写する。
ブロック1004では、眼画像が、得られる。眼画像は、限定ではないが、画像捕捉デバイス、頭部搭載型ディスプレイシステム、サーバ、非一過性コンピュータ可読媒体、またはクライアントコンピューティングデバイス(例えば、スマートフォン)を含む、種々のソースから得られることができる。
ルーチン1000を継続すると、ブロック1008では、眼姿勢が、得られた眼画像毎に識別される。例えば、眼姿勢は、得られた眼画像がディスプレイの特定の眼姿勢領域内で捕捉された場合、特定のディスプレイ分類(例えば、図8を参照して開示される眼姿勢領域割当)と関連付けられることができる。一実施例にすぎないが、眼姿勢は、その眼姿勢領域に関する領域に割り当てられることができる。ブロック1008における本識別では、各識別された眼姿勢の代替表現もまた、判定されることができる。例えば、本明細書に説明されるように、眼画像に関する眼姿勢は、2つの角度パラメータ(例えば、眼の眼姿勢方向の方位角偏向および天頂偏向)として表されることができる。
虹彩コード融合技法または画像融合技法が使用されるかどうかに応じて、ルーチン1000は、ブロック1012またはブロック1016のいずれかに進み、それぞれ、ルーチン1000の個別の分岐を伴う。一方の技法のまたは両方の技法が、行われることができる。種々の実施形態では、両技法が、並列に、またはシーケンスにおいて行われることができる。以下にさらに説明されるであろうように、各個別の技法から生成された信頼度スコアを用いて、虹彩コードが、種々のバイオメトリックアプリケーションにおいて利用されることができる。ルーチン1000がルーチン1000の両分岐に沿って進む実装では、技法の正確度が、その個別の信頼度スコアを使用して比較されることができる。一実装では、より高い生成された信頼度スコアを有する技法によって生成された虹彩コードは、1つまたはそれを上回るバイオメトリックアプリケーションにおいて、さらなる利用のために使用されることができる。より低い信頼度スコアを伴う虹彩コードは、破棄される、または使用されないことができる。別の実装では、両虹彩コードが、バイオメトリックアプリケーションにおいて使用されてもよい。例えば、虹彩コードの平均が、フィルタまたは他の技法を使用して、各技法によって生成された個別の虹彩コードを平均化するために生成されることができる。
左分岐に沿ってルーチン1000を継続すると、ブロック1012では、識別された眼姿勢の得られた眼画像または代替表現が、それぞれ、ハイブリッド画像またはハイブリッド表現に融合されることができる。例えば、眼画像は、種々の画像融合方法(例えば、超分解能、空間ドメイン融合、または変換ドメイン融合)を通して組み合わせられ、単一ハイブリッド画像を生成することができる。別の実施例として、各代替表現は、ハイブリッド眼画像に融合されることができ、代替表現は、ハイブリッド眼画像に寄与するために使用される各眼姿勢領域と関連付けられる。ブロック1020では、虹彩コードが、ハイブリッド眼画像に基づいて、ヒトの眼に関して生成されることができる。例えば、ハイブリッド画像の虹彩は、本明細書に説明される種々の技法に従って、虹彩コードを生成するために使用されることができる。
ブロック1008における右分岐に沿ってルーチン1000を継続すると、ブロック1016では、識別された眼姿勢の各得られた眼画像または代替表現が、虹彩コードを生成するために使用されることができる。ブロック1024では、ハイブリッド虹彩コードが、いくつかの眼画像(例えば、いくつかの眼姿勢領域の眼画像)からの虹彩コードに基づいて、ヒトの眼に関して生成される。特定の姿勢眼領域と関連付けられた各虹彩コードは、全体的ハイブリッド虹彩コードに寄与することができる。眼画像の虹彩コードは、メディアンフィルタ、ベイズフィルタ、または虹彩コードをハイブリッド虹彩コードにマージするように構成される任意のフィルタを使用して、融合されることができる。
ルーチン1000が、左分岐、右分岐のいずれか、または並行して、もしくは連続して両分岐に進んだ後、ブロック1028では、信頼度スコアが、虹彩コードまたはハイブリッド虹彩コードに関して生成される。両分岐が、並行して、または連続して行われる場合、信頼度スコアは、ブロック1020において生成された虹彩コードまたはブロック1024において生成されたハイブリッド虹彩コードに関して生成されることができる。信頼度スコアは、サンプリングされた眼姿勢領域の任意の関数(例えば、割り当てられた領域の多様性)に基づいて判定されることができる。一実施例にすぎないが、ゼロのスコアは、全ての可能性として考えられる領域がサンプリングされない場合に割り当てられることができる。
ブロック1032では、判定された虹彩コードは、バイオメトリックアプリケーションまたは頭部搭載型ディスプレイの画像ディスプレイのために利用されることができる。例えば、一実施形態では、生成された虹彩コードは、ブロック1004の得られた眼画像の関連付けられた眼に関する眼姿勢を判定するために利用されることができる。
種々の実施形態では、ルーチン1000は、ディスプレイシステム200の実施形態等の頭部搭載型ディスプレイシステムのハードウェアプロセッサによって行われてもよい。他の実施形態では、コンピュータ実行可能命令を伴う遠隔コンピューティングデバイスは、頭部搭載型ディスプレイシステムにルーチン1000を行わせることができる。例えば、遠隔コンピューティングデバイスは、眼画像をハイブリッド眼画像に融合させられる、または眼画像の虹彩コードをマージされた虹彩コードにマージさせられることができる。
付加的側面
本明細書に開示される、眼画像組み合わせ、眼画像の組み合わせ、または眼画像セット選択に関する側面のいずれかの任意の要素は、本明細書に開示される、眼画像組み合わせ、眼画像の組み合わせ、または眼画像セット選択に関する側面のいずれかの任意の他の要素と組み合わせて、またはその代わりに、使用されることができる。
眼画像収集に関する付加的側面
第1の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ウェアラブルディスプレイシステムの装着者から眼画像を捕捉するように構成される、画像捕捉デバイスと、眼画像を記憶するように構成される、非一過性メモリと、複数の眼姿勢領域を備える、ディスプレイと、非一過性メモリおよびディスプレイと通信する、プロセッサであって、該プロセッサは、アバタの表示をディスプレイ上の複数の眼姿勢領域の第1の眼姿勢領域内に生じさせることと、眼の第1の眼画像を画像捕捉デバイスから得ることであって、第1の眼画像は、第1の眼姿勢領域と関連付けられている、ことと、第1の眼画像の第1の画質メトリックが第1の画質閾値を超過していることを判定することと、アバタの表示をディスプレイ上の複数の眼領域の第2の眼姿勢領域内に生じさせることと、眼の第2の眼画像を画像捕捉デバイスから得ることであって、第2の眼画像は、第2の眼姿勢領域と関連付けられている、ことと、第2の眼画像の第2の画質メトリックが第2の画質閾値を超過していることを判定することと、少なくとも部分的に、第1の眼画像および第2の眼画像に基づいて、眼に関する虹彩コードを生成することと、ディスプレイ上における画像の後続表示またはウェアラブルディスプレイシステムによるバイオメトリックアプリケーションのために生成された虹彩コードを利用することとを行うようにプログラムされる、プロセッサとを備える。
第2の側面では、プロセッサはさらに、ディスプレイ上の複数の眼領域内におけるアバタに関する表示モードを受信するようにプログラムされる、側面1に記載のウェアラブルディスプレイシステム。
第3の側面では、プロセッサはさらに、ディスプレイ上の第1の眼領域内におけるアバタに関する表示モードを受信するようにプログラムされる、側面1-2のうちのいずれか1項に記載のウェアラブルディスプレイシステム。
第4の側面では、表示モードは、ランダムモード、順次モード、飛行モード、明滅モード、変動モード、ストーリーモード、またはそれらの組み合わせのうちの少なくとも1つを備える、側面2-3のうちのいずれか1項に記載のウェアラブルディスプレイシステム。
第5の側面では、第1の画質閾値は、第1の眼姿勢領域に関する画質レベルに対応し、第2の画質閾値は、第2の眼姿勢領域に関する画質レベルに対応する、側面1-4のうちのいずれか1項に記載のウェアラブルディスプレイシステム。
第6の側面では、第1の画質閾値は、第1の眼画像に関する画質レベルに対応し、第2の画質閾値は、第2の眼画像に関する画質レベルに対応する、側面1-5のうちのいずれか1項に記載のウェアラブルディスプレイシステム。
第7の側面では、プロセッサはさらに、アバタの表示をディスプレイ上の複数の眼領域の第3の眼姿勢領域内に生じさせることと、眼の第3の眼画像を画像捕捉デバイスから得ることであって、第3の眼画像は、第3の眼姿勢領域と関連付けられている、ことと、第3の眼画像の第3の画質メトリックが第3の画質閾値を超過しないことを判定することとを行うようにプログラムされる、側面1-6のうちのいずれか1項に記載のウェアラブルディスプレイシステム。
第8の側面では、プロセッサはさらに、眼の第4の眼画像を画像捕捉デバイスから得ることであって、第4の眼画像は、第3の眼姿勢領域と関連付けられている、ことと、第4の眼画像の第4の画質メトリックが第3の画質閾値を超過することを判定することとを行うようにプログラムされる、側面7に記載のウェアラブルディスプレイシステム。
第9の側面では、眼に関する虹彩コードを判定するために、プロセッサは、少なくとも部分的に、第1の眼画像、第2の眼画像、および第4の眼画像に基づいて、虹彩コードを判定するようにプログラムされる、側面8に記載のウェアラブルディスプレイシステム。
第10の側面では、プロセッサはさらに、第3の眼画像および第4の眼画像を組み合わせ、第3の眼姿勢領域に関するハイブリッド眼画像を得るようにプログラムされ、眼に関する虹彩コードを判定するために、プロセッサは、少なくとも部分的に、第1の眼画像、第2の眼画像、およびハイブリッド眼画像に基づいて、虹彩コードを判定するようにプログラムされる、側面8に記載のウェアラブルディスプレイシステム。
第11の側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、眼画像を捕捉するように構成される、画像捕捉デバイスと、複数の眼姿勢領域を備える、ディスプレイと、画像捕捉デバイスおよびディスプレイと通信する、プロセッサであって、該プロセッサは、第1のグラフィックの表示をディスプレイ上の複数の眼姿勢領域の第1の眼姿勢領域内に生じさせることと、第1の眼姿勢領域内の第1の眼画像を画像捕捉デバイスから得ることと、第1の眼画像の第1のメトリックが第1の閾値を超過していることを判定することと、第2のグラフィックの表示をディスプレイ上の複数の眼姿勢領域の第2の眼姿勢領域内に生じさせることと、第2の眼姿勢領域内の第2の眼画像を画像捕捉デバイスから得ることと、第2の眼画像の第2のメトリックが第2の閾値を超過していることを判定することとを行うようにプログラムされる、プロセッサとを備える。
第12の側面では、プロセッサはさらに、少なくとも部分的に、第1の眼画像および第2の眼画像に基づいて、虹彩コードを判定することと、ディスプレイ上における画像の表示または頭部搭載型ディスプレイシステムによるバイオメトリックアプリケーションのために判定された虹彩コードを利用することとを行うようにプログラムされる、側面11に記載の頭部搭載型ディスプレイシステム。
第13の側面では、第1の眼画像は、頭部搭載型ディスプレイシステムのユーザの第1の眼姿勢に対応する、側面11-12のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第14の側面では、ディスプレイは、第1のグラフィックまたは第2のグラフィックを複数の深度平面にわたって頭部搭載型ディスプレイシステムのユーザに提示するように構成される、側面11-13のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第15の側面では、ディスプレイは、複数のスタックされた導波管を備える、側面11-14のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第16の側面では、ディスプレイは、第1のグラフィックまたは第2のグラフィックのライトフィールド画像を頭部搭載型ディスプレイシステムのユーザに提示するように構成される、側面11-15のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第17の側面では、第1のグラフィックは、ディスプレイ上の複数の眼姿勢領域の第1の眼姿勢領域に表示されたとき、眼をディスプレイ上の複数の眼姿勢領域の第1の眼姿勢領域に向かって指向させ、第2のグラフィックは、ディスプレイ上の複数の眼姿勢領域の第2の眼姿勢領域に表示されたとき、眼をディスプレイ上の複数の眼姿勢領域の第2の眼姿勢領域に向かって指向させる、側面11-16のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第18の側面では、第2のグラフィックは、ディスプレイ上の複数の眼姿勢領域の第2の眼姿勢領域に表示されると、眼の眼姿勢を変化させるように構成される、側面11-17のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第19の側面では、第1のグラフィックまたは第2のグラフィックは、蝶のグラフィカル表現を備える、側面11-18のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第20の側面では、プロセッサはさらに、ディスプレイ上の複数の眼姿勢領域内におけるグラフィックに関する表示モードを受信することであって、表示モードは、ランダムモード、順次モード、飛行モード、明滅モード、変動モード、ストーリーモード、またはそれらの組み合わせのうちの少なくとも1つを備える、ことを行うようにプログラムされる、側面11-19のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第21の側面では、第1の眼姿勢領域は、最小方位角偏向、最大方位角偏向、最小天頂偏向、および最大天頂偏向を備える、眼姿勢領域によって画定される、側面11-20のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第22の側面では、第1のグラフィックは、第2のグラフィックと同一である、側面11-21のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第23の側面では、虹彩コードを生成するための方法が、開示される。本方法は、プロセッサの制御下で、複数の眼姿勢領域を接続する経路に沿って、グラフィックを表示するステップと、経路に沿った複数の場所における眼画像を得るステップと、少なくとも部分的に、得られた眼画像の少なくともいくつかに基づいて、虹彩コードを生成するステップとを含む。
第24の側面では、経路に沿った複数の場所において得られる眼画像は、虹彩コード内の脆弱ビットの低減を提供する、側面23に記載の方法。
第25の側面では、虹彩コードを生成するために使用される得られた眼画像の少なくともいくつかはそれぞれ、品質閾値を超過する、品質メトリックを有する、側面23-24のうちの任意の1項に記載の方法。
眼画像組み合わせに関する付加的側面
第1の側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、複数の眼画像を捕捉するように構成される、画像捕捉デバイスと、プロセッサであって、該プロセッサは、複数の眼画像の眼画像毎に、複数の眼姿勢領域の眼姿勢領域を各眼画像に割り当てることと、各眼画像内の眼姿勢の表現を判定することと、判定された表現のセットを融合し、ハイブリッド眼画像を生成することと、ハイブリッド眼画像の虹彩コードを生成することと、判定された虹彩コードと関連付けられた信頼度スコアを判定することであって、信頼度スコアは、少なくとも部分的に、ハイブリッド眼画像を生成するために利用される判定された表現のセットに基づく、こととを行うようにプログラムされる、プロセッサとを備える。
第2の側面では、判定された表現のセットを融合するために、プロセッサは、画質閾値を超過する判定された表現のセットを選択するようにプログラムされ、画質閾値は、バイオメトリックアプリケーションの利用のための画質に対応する、側面1に記載の頭部搭載型ディスプレイシステム。
第3の側面では、判定された表現のセットを融合するために、プロセッサは、超分解能アルゴリズムを利用するようにプログラムされる、側面1-2のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第4の側面では、プロセッサはさらに、信頼度スコアが信頼度閾値を超過しないことを判定することであって、信頼度閾値は、頭部搭載型ディスプレイシステムと関連付けられたアプリケーションのための具体的アクセスレベルに対応する、ことと、頭部搭載型ディスプレイシステムと関連付けられたアプリケーションに実行を終了させることとを行うようにプログラムされる、側面1-3のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第5の側面では、プロセッサはさらに、信頼度スコアが信頼度閾値を超過することを判定することであって、信頼度閾値は、頭部搭載型ディスプレイシステムと関連付けられたアプリケーションのための具体的アクセスレベルに対応する、ことと、頭部搭載型ディスプレイシステムと関連付けられたアプリケーションに承認を示させることとを行うようにプログラムされる、側面1-4のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第6の側面では、プロセッサはさらに、頭部搭載型ディスプレイシステム上に表示されるレベルインジケータを修正し、アプリケーションによる承認を示すようにプログラムされる、側面5に記載の頭部搭載型ディスプレイシステム。
第7の側面では、プロセッサはさらに、頭部搭載型ディスプレイシステムのオーディオユニットに音を放出させるようにプログラムされる、側面5に記載の頭部搭載型ディスプレイシステム。
第8の側面では、プロセッサはさらに、頭部搭載型ディスプレイシステムのディスプレイに承認テキストを表示させるようにプログラムされる、側面5に記載の頭部搭載型ディスプレイシステム。
第9の側面では、プロセッサはさらに、ハイブリッド眼画像を使用して、眼のバイオメトリックデータを判定するようにプログラムされる、側面1-8のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第10の側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、複数の眼画像を捕捉するように構成される、画像捕捉デバイスと、プロセッサであって、該プロセッサは、複数の眼画像の画像毎に、複数の眼姿勢領域の眼姿勢領域を各眼画像に割り当てることと、各眼画像内の眼姿勢の表現を判定することと、眼画像毎に、虹彩コードを生成することと、各生成された虹彩コードをマージし、ハイブリッド虹彩コードを生成することと、ハイブリッド虹彩コードと関連付けられた信頼度スコアを判定することであって、信頼度スコアは、少なくとも部分的に、修正された眼画像を生成するために利用される判定された虹彩コードに基づく、こととを行うようにプログラムされる、プロセッサとを備える。
第11の側面では、各判定された虹彩コードをマージするために、プロセッサは、各判定された虹彩コードと閾値スコアを比較するようにプログラムされ、閾値スコアは、眼画像の品質レベルに対応する、側面10に記載の頭部搭載型ディスプレイシステム。
第12の側面では、各判定された虹彩コードをマージするために、プロセッサは、メディアンフィルタ、ベイズフィルタ、または虹彩コードをマージするように構成される任意のフィルタのうちの少なくとも1つを利用するようにプログラムされる、側面10-11のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第13の側面では、プロセッサはさらに、信頼度スコアが信頼度閾値を超過しないことを判定することであって、信頼度閾値は、頭部搭載型ディスプレイシステムと関連付けられたアプリケーションのための具体的アクセスレベルに対応する、ことと、頭部搭載型ディスプレイシステムと関連付けられたアプリケーションに実行を終了させることとを行うようにプログラムされる、側面10-12のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第14の側面では、プロセッサはさらに、信頼度スコアが信頼度閾値を超過することを判定することと、頭部搭載型ディスプレイシステムと関連付けられたアプリケーションに承認を示させることとを行うようにプログラムされる、側面10-13のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第15の側面では、プロセッサはさらに、頭部搭載型ディスプレイシステム上に表示されるセキュリティバーを修正するようにプログラムされる、側面14に記載の頭部搭載型ディスプレイシステム。
第16の側面では、プロセッサはさらに、頭部搭載型ディスプレイシステムのオーディオユニットに音を放出させるようにプログラムされる、側面10-15のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第17の側面では、プロセッサはさらに、頭部搭載型ディスプレイシステムのディスプレイにテキストインジケーションを表示するようにプログラムされる、側面10-16のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第18の側面では、眼の虹彩コードを得るための方法が、開示される。本方法は、プロセッサの制御下で、複数の眼画像にアクセスするステップと、(1)複数の眼画像の画像融合動作、(2)複数の眼画像上の虹彩コード融合動作、または(1)および(2)の両方を行うステップであって、画像融合動作は、複数の眼画像の少なくともいくつかを融合し、ハイブリッド画像を生成するステップと、ハイブリッド虹彩コードをハイブリッド画像から生成するステップとを含み、虹彩コード融合動作は、複数の眼画像内の眼画像の少なくともいくつかに関する虹彩コードを生成するステップと、生成された虹彩コードをマージし、ハイブリッド虹彩コードを生成するステップとを含む、ステップとを含む。
第19の側面では、複数の眼画像内の眼画像毎に、眼姿勢を識別するステップをさらに含む、側面18に記載の方法。
第20の側面では、画像融合動作または虹彩コード融合動作は、画質閾値を超過する画質メトリックを有する1つまたはそれを上回る眼画像のみにおいて行われる、側面18-19のいずれか1項に記載の方法。
第21の側面では、ハイブリッド虹彩コードに関する信頼度スコアを生成するステップをさらに含む、側面18-20のいずれか1項に記載の方法。
第22の側面では、バイオメトリックアプリケーションのためにハイブリッド虹彩コードを利用するステップをさらに含む、側面18-21のいずれか1項に記載の方法。
第23の側面では、脆弱ビットを補正するステップをさらに含む、側面18-22のいずれか1項に記載の方法。
第24の側面では、眼画像を処理するための方法が、開示される。本方法は、プロセッサの制御下で、第1の複数の眼画像の眼画像毎に、第1の複数の眼画像の眼画像毎に、複数の眼姿勢領域の眼姿勢領域を割り当てるステップと、第1の複数の眼画像の眼画像毎に、第1の眼姿勢を識別するステップと、各識別された第1の眼姿勢の第1のデジタル表現を判定するステップと、複数の眼姿勢領域の眼姿勢領域毎に、第1の非空の判定された第1のデジタル表現のセットを選択するステップであって、第1の非空の判定された第1のデジタル表現のセットの各判定された第1のデジタル表現は、画質閾値を超過する、ステップと、選択された第1の非空の判定された第1のデジタル表現のセットの判定された第1のデジタル表現を組み合わせ、第1のハイブリッド画像を生成するステップと、第1のハイブリッド画像の第1の虹彩コードを生成するステップと、判定された第1の虹彩コードと関連付けられた第1の信頼度スコアを判定するステップであって、第1の信頼度スコアは、少なくとも部分的に、第1のハイブリッド画像を生成するために使用される選択された第1の非空セット内の判定された第1のデジタル表現の総数に基づく、ステップと、バイオメトリックアプリケーションのために判定された第1の信頼度スコアを利用するステップとを含む。
第25の側面では、第1の信頼度スコアがバイオメトリックセキュリティ信頼度閾値を超過しないことを判定するステップであって、バイオメトリックセキュリティ信頼度閾値は、バイオメトリックデータと関連付けられたアプリケーションのための具体的アクセスレベルに対応する、ステップと、アプリケーションの実行を終了させるステップとをさらに含む、側面24に記載の方法。
第26の側面では、第2の複数の眼画像を得るステップと、第2の複数の眼画像の眼画像毎に、第2の複数の眼画像の眼画像毎に、複数の眼姿勢領域の眼姿勢領域を割り当てるステップと、第2の複数の眼画像の眼画像毎に、第2の眼姿勢を識別するステップと、各識別された第2の眼姿勢の第2のデジタル表現を判定するステップと、複数の眼姿勢領域の眼姿勢領域毎に、第2の非空の判定された第2のデジタル表現のセットを選択するステップであって、第2の非空の判定された第2のデジタル表現のセットの各判定された第2のデジタル表現は、画像セキュリティ閾値を超過する、ステップと、選択された第2の非空の判定された第2のデジタル表現のセットを組み合わせ、第2のハイブリッド眼画像を生成するステップと、第2のハイブリッド画像の第2の虹彩コードを生成するステップと、判定された第2の虹彩コードと関連付けられた第2の信頼度スコアを判定するステップであって、第2の信頼度スコアは、少なくとも部分的に、第2のハイブリッド画像を生成するために使用される選択された第2の非空セット内の判定された第2のデジタル表現の総数に基づく、ステップとをさらに含む、側面24-25のいずれか1項に記載の方法。
第27の側面では、第2の信頼度スコアがバイオメトリックセキュリティ信頼度閾値を超過することを判定するステップと、バイオメトリックアプリケーションに、承認インジケーションを第1の複数の眼画像および第2の複数の眼画像と関連付けられたユーザに示させるステップとをさらに含む、側面26に記載の方法。
第28の側面では、承認インジケーションは、頭部搭載型ディスプレイ(HMD)のディスプレイ上のセキュリティバー上のレベル、HMDのオーディオユニットから放出される音、およびHMDのディスプレイ上のテキストインジケーションのうちの少なくとも1つに対応する、側面27に記載の方法。
第29の側面では、金融取引のためのアプリケーションへのアクセスのための要求を伝送するステップであって、要求は、承認インジケーションの表現を備える、ステップをさらに含む、側面27に記載の方法。
第30の側面では、バイオメトリックセキュリティ信頼度閾値は、金融取引と関連付けられたアカウントにアクセスするために要求される画質レベルを備える、側面27に記載の方法。
第31の側面では、アカウントにアクセスするために要求される画質レベルは、少なくとも1つの画質メトリックを備える、側面30に記載の方法。
第32の側面では、眼画像を処理するための方法が、開示される。本方法は、プロセッサの制御下で、眼の複数の眼画像の眼画像毎に、眼画像毎に、眼姿勢を識別するステップと、識別された眼姿勢のデジタル表現を判定するステップと、眼画像毎に、虹彩コードを生成するステップと、各眼画像の生成された虹彩コードを組み合わせ、ハイブリッド虹彩コードを生成するステップと、ハイブリッド虹彩コードと関連付けられた信頼度スコアを判定するステップであって、信頼度スコアは、少なくとも部分的に、ハイブリッド虹彩コードを生成するために組み合わせられた判定された虹彩コードの総数に基づく、ステップと、バイオメトリックアプリケーションのために判定された信頼度スコアを利用するステップとを含む。
第33の側面では、信頼度スコアがバイオメトリックセキュリティ信頼度閾値を超過しないことを判定するステップであって、バイオメトリックセキュリティ信頼度閾値は、バイオメトリックデータと関連付けられたアプリケーションのための具体的アクセスレベルに対応する、ステップと、バイオメトリックデータと関連付けられたアプリケーションに実行を終了させるステップとをさらに含む、側面32に記載の方法。
第34の側面では、信頼度スコアがバイオメトリックセキュリティ信頼度閾値を超過することを判定するステップと、バイオメトリックアプリケーションに承認インジケーションを複数の眼画像と関連付けられたユーザに示させるステップとをさらに含む、側面32-33のいずれか1項に記載の方法。
第35の側面では、承認インジケーションは、頭部搭載型ディスプレイ(HMD)のディスプレイ上のセキュリティバー上のレベル、HMDのオーディオユニットから放出される音、およびHMDのディスプレイ上のテキストインジケーションのうちの少なくとも1つを備える、側面34に記載の方法。
第36の側面では、バイオメトリックセキュリティ信頼度閾値は、金融取引と関連付けられたアカウントにアクセスするために要求される画質レベルに対応する、側面32-35のいずれか1項に記載の方法。
第37の側面では、金融取引のためのアプリケーションへのアクセスのための要求を伝送するステップであって、要求は、承認インジケーションの表現を備える、ステップをさらに含む、側面32-36のいずれか1項に記載の方法。
眼画像セット選択に関する付加的側面
第1の側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、眼の複数の眼画像を捕捉するように構成される、画像捕捉デバイスと、プロセッサであって、該プロセッサは、複数の眼画像の眼画像毎に、眼画像を画像捕捉デバイスから受信することと、眼画像と関連付けられた画質メトリックを判定することと、判定された画質メトリックと画質閾値を比較し、眼画像が画質閾値を超過しているかどうかを判定することであって、画質閾値は、虹彩コードを生成するための画質レベルに対応する、ことと、複数の眼画像から、画質閾値を超過する眼画像を選択することと、選択された眼画像を利用し、虹彩コードを生成することとを行うようにプログラムされる、プロセッサとを備える。
第2の側面では、画質閾値を超過する眼画像を選択するために、プロセッサは、選択された眼画像をプロセッサのバッファの中にバッファするようにプログラムされる、側面1に記載の頭部搭載型ディスプレイシステム。
第3の側面では、画質閾値を超過する眼画像を選択するために、プロセッサは、眼画像の極座標表現を利用するようにプログラムされる、側面1-2のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第4の側面では、プロセッサはさらに、画像融合動作および虹彩融合動作を行うようにプログラムされる、側面1-3のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第5の側面では、画像融合動作および虹彩融合動作は、実質的に同時に、または連続して、生成された虹彩コードの一貫性を検証するために行われる、側面4に記載の頭部搭載型ディスプレイシステム。
第6の側面では、プロセッサはさらに、選択された眼画像の眼姿勢を判定することと、選択された眼画像の眼姿勢を使用して、眼のバイオメトリックデータを判定することとを行うようにプログラムされる、側面4に記載の頭部搭載型ディスプレイシステム。
第7の側面では、眼画像を画像捕捉デバイスから受信するために、プロセッサは、プロセッサによって実装される眼画像収集ルーチンの間、眼画像を画像捕捉デバイスから受信するようにプログラムされる、側面1-6のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第8の側面では、眼画像収集ルーチンは、グラフィックを利用して、眼画像を得る、側面7に記載の頭部搭載型ディスプレイシステム。
第9の側面では、画質閾値を超過する眼画像を選択するために、プロセッサは、複数の眼画像の第1の眼画像をバッファの中にバッファすることと、複数の眼画像の第2の眼画像の画質メトリックが第1の眼画像の画質メトリックを超過することを判定することと、第1の眼画像をバッファ内の第2の眼画像と置換することであって、第2の眼画像は、選択された眼画像に対応する、こととを行うようにプログラムされる、側面1-8のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第10の側面では、画質メトリックは、眼画像のぼけと関連付けられたぼけ画質に対応し、眼画像のぼけは、基準眼画像に対する眼画像内の眼移動度に対応する、側面1-9のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第11の側面では、画質メトリックは、眼画像内の非閉塞ピクセルの量に対応する、側面1-10のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第12の側面では、画質メトリックは、眼瞬目、グレア、焦点ずれ、分解能、閉塞ピクセル、非閉塞ピクセル、雑音、アーチファクト、ぼけ、またはそれらの組み合わせのうちの1つまたはそれを上回るものに関連する測定を備える、側面1-11のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第13の側面では、画質メトリックは、複数の成分品質メトリックの加重された組み合わせを備える、側面1-12のうちの任意の1項に記載の頭部搭載型ディスプレイシステム。
第14の側面では、眼画像を処理するための方法が、開示される。本方法は、プロセッサの制御下で、複数の眼画像を得るステップと、複数の眼画像の眼画像毎に、各眼画像と関連付けられた画質メトリックを判定するステップと、各判定された画質メトリックと画質閾値を比較し、眼画像が画質閾値を超過しているかどうかを判定するステップであって、画質閾値は、虹彩コードを生成するための画質レベルに対応する、ステップと、複数の眼画像から、非空の眼画像のセットを選択するステップと、虹彩コードを生成するために眼画像のセットを利用するステップとを含む。
第15の側面では、非空の眼画像のセットを選択するステップは、選択されるべき画質閾値を超過する、複数の眼画像の眼画像のパーセンテージを識別するステップを含む、側面14に記載の方法。
第16の側面では、非空の眼画像のセットを選択するステップは、選択されるべき眼画像の総数を識別するステップと、眼画像のセットを識別するステップであって、それぞれ、セット内にない眼画像の判定された画質メトリックを上回るかまたはそれと等しい、判定された画質メトリックを有する、ステップとを含む、側面14-15のいずれか1項に記載の方法。
第17の側面では、非空の眼画像のセット内の各眼画像は、画質閾値を超過する、側面14-16のいずれか1項に記載の方法。
第18の側面では、非空の眼画像のセットおよび対応する判定された画質メトリックをデータ媒体内にバッファするステップをさらに含む、側面14-17のいずれか1項に記載の方法。
第19の側面では、画質閾値を超過する、付加的眼画像を得るステップと、データ媒体内にバッファされた非空の眼画像のセットの眼画像を選択するステップと、付加的眼画像の画質メトリックがデータ媒体内にバッファされた非空の眼画像のセットの眼画像の画質メトリックを超過することを判定するステップと、データ媒体内において、データ媒体内にバッファされた非空の眼画像のセットの選択された眼画像およびデータ媒体内にバッファされた非空の眼画像のセットの選択された眼画像の画質メトリックを、それぞれ、付加的眼画像の付加的眼画像および画質メトリックと置換するステップとをさらに含む、側面18に記載の方法。
第20の側面では、画質メトリックは、眼瞬目、グレア、焦点ずれ、分解能、閉塞ピクセル、非閉塞ピクセル、雑音、アーチファクト、ぼけ、またはそれらの組み合わせのうちの1つまたはそれを上回るものに関連する測定を備える、側面14-19のいずれか1項に記載の方法。
結論
本明細書に説明される、ならびに/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つもしくはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能(例えば、論理もしくは算術)またはステップを実装するための1つもしくはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装のバリエーションが、可能である。
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいてアクションするものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせのバリエーションを対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含むがその一方で他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/もしくはステップが、1つもしくはそれを上回る実施形態に対していかようにも要求されること、または1つもしくはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つまたはそれを上回る」または「少なくとも1つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「~のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、ならびにA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序でもしくは連続的順序で実施されることは必要ない、または、全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (8)

  1. 眼の虹彩コードを取得するための方法であって、前記方法は、
    プロセッサの制御下で、
    複数の眼画像にアクセスすることと、
    前記複数の眼画像における各眼画像に対して、複数の眼姿勢領域のうちの眼姿勢領域を割り当てることと、
    前記複数の眼画像のうちの各眼画像において眼姿勢の表現を代替的な表現として決定することであって、前記表現は、前記眼の安静位置に対する複数の角度パラメータとして表される、ことと、
    (1)前記複数の眼画像または前記代替的な表現に対する画像融合動作、(2)前記複数の眼画像または前記代替的な表現に対する虹彩コード融合動作、または、(1)および(2)の両方を実行することであって、
    前記画像融合動作は、
    前記複数の眼画像のうちの少なくともいくつかの眼画像または前記代替的な表現を融合することにより、ハイブリッド画像を生成することと、
    前記ハイブリッド画像からハイブリッド虹彩コードを生成することと
    を含み、
    前記虹彩コード融合動作は、
    前記複数の眼画像における複数の眼画像のうちの少なくともいくつかまたは前記代替的な表現のための虹彩コードを生成することと、
    前記生成された虹彩コードをマージすることにより、ハイブリッド虹彩コードを生成することと
    を含む、ことと、
    前記虹彩コードまたは前記ハイブリッド虹彩コードのための信頼度スコアを生成することであって、前記信頼度スコアは、識別された眼姿勢領域の関数に少なくとも部分的に基づいており、前記信頼度スコアは、前記虹彩コードまたは前記ハイブリッド虹彩コードが1つ以上のバイオメトリックアプリケーションにおいて利用されるかを決定するために用いられる、ことと
    を含む、方法。
  2. 前記画像融合動作または前記虹彩コード融合動作は、画質閾値を超過する画質メトリックを有する1つ以上の眼画像のみに対して実行される、請求項1に記載の方法。
  3. 前記方法は、バイオメトリックアプリケーションのために前記虹彩コードまたは前記ハイブリッド虹彩コードを利用することをさらに含む、請求項1~2のいずれか1項に記載の方法。
  4. 前記方法は、前記虹彩コード内の脆弱ビットを補正することにより、前記虹彩コードに及ぼす前記脆弱ビットの影響を低減させることをさらに含む、請求項1に記載の方法。
  5. 頭部搭載型ディスプレイシステムであって、前記システムは、
    複数の眼画像を捕捉するように構成されている画像捕捉デバイスと、
    プロセッサと
    を備え、
    前記プロセッサは、
    複数の眼画像にアクセスすることと、
    前記複数の眼画像における各眼画像に対して、複数の眼姿勢領域のうちの眼姿勢領域を割り当てることと、
    前記複数の眼画像のうちの各眼画像において眼姿勢の表現を代替的な表現として決定することであって、前記表現は、前記眼の安静位置に対する複数の角度パラメータとして表される、ことと、
    (1)前記複数の眼画像または前記代替的な表現に対する画像融合動作、(2)前記複数の眼画像または前記代替的な表現に対する虹彩コード融合動作、または、(1)および(2)の両方を実行することであって、
    前記画像融合動作は、
    前記複数の眼画像のうちの少なくともいくつかの眼画像または前記代替的な表現を融合することにより、ハイブリッド画像を生成することと、
    前記ハイブリッド画像からハイブリッド虹彩コードを生成することと
    を含み、
    前記虹彩コード融合動作は、
    前記複数の眼画像における複数の眼画像のうちの少なくともいくつかまたは前記代替的な表現のための虹彩コードを生成することと、
    前記生成された虹彩コードをマージすることにより、ハイブリッド虹彩コードを生成することと
    を含む、ことと、
    前記虹彩コードまたは前記ハイブリッド虹彩コードのための信頼度スコアを生成することであって、前記信頼度スコアは、識別された眼姿勢領域の関数に少なくとも部分的に基づいており、前記信頼度スコアは、前記虹彩コードまたは前記ハイブリッド虹彩コードが1つ以上のバイオメトリックアプリケーションにおいて利用されるかを決定するために用いられる、ことと
    を行うようにプログラムされている、システム。
  6. 前記プロセッサは、画質閾値を超過する画質メトリックを有する1つ以上の眼画像のみに対して前記画像融合動作または前記虹彩コード融合動作を実行するようにプログラムされている、請求項5に記載のシステム。
  7. 前記プロセッサは、バイオメトリックアプリケーションのために前記虹彩コードまたはハイブリッド虹彩コードを利用するようにプログラムされている、請求項5~6のいずれか1項に記載のシステム。
  8. 前記プロセッサは、前記虹彩コード内の脆弱ビットを補正することにより、前記虹彩コードに及ぼす前記脆弱ビットの影響を低減させるようにプログラムされている、請求項5に記載のシステム。
JP2021130586A 2016-01-19 2021-08-10 眼画像の収集、選択および組み合わせ Active JP7405800B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662280515P 2016-01-19 2016-01-19
US201662280456P 2016-01-19 2016-01-19
US201662280437P 2016-01-19 2016-01-19
US62/280,515 2016-01-19
US62/280,437 2016-01-19
US62/280,456 2016-01-19
JP2020046479A JP6960494B2 (ja) 2016-01-19 2020-03-17 眼画像の収集、選択および組み合わせ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020046479A Division JP6960494B2 (ja) 2016-01-19 2020-03-17 眼画像の収集、選択および組み合わせ

Publications (2)

Publication Number Publication Date
JP2021184289A JP2021184289A (ja) 2021-12-02
JP7405800B2 true JP7405800B2 (ja) 2023-12-26

Family

ID=59313841

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018555850A Active JP6824285B2 (ja) 2016-01-19 2017-01-17 眼画像の収集、選択および組み合わせ
JP2020046479A Active JP6960494B2 (ja) 2016-01-19 2020-03-17 眼画像の収集、選択および組み合わせ
JP2021130586A Active JP7405800B2 (ja) 2016-01-19 2021-08-10 眼画像の収集、選択および組み合わせ

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018555850A Active JP6824285B2 (ja) 2016-01-19 2017-01-17 眼画像の収集、選択および組み合わせ
JP2020046479A Active JP6960494B2 (ja) 2016-01-19 2020-03-17 眼画像の収集、選択および組み合わせ

Country Status (10)

Country Link
US (5) US10831264B2 (ja)
EP (1) EP3405829A4 (ja)
JP (3) JP6824285B2 (ja)
KR (2) KR102483345B1 (ja)
CN (2) CN108780229B (ja)
AU (2) AU2017208994B2 (ja)
CA (1) CA3011637A1 (ja)
IL (2) IL272891B2 (ja)
NZ (1) NZ744400A (ja)
WO (1) WO2017127366A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102255351B1 (ko) * 2014-09-11 2021-05-24 삼성전자주식회사 홍채 인식 방법 및 장치
CN104834852B (zh) * 2015-05-04 2018-07-13 惠州Tcl移动通信有限公司 一种移动终端基于高质量眼纹图像进行解锁的方法及系统
US10043075B2 (en) * 2015-11-19 2018-08-07 Microsoft Technology Licensing, Llc Eye feature identification
KR102483345B1 (ko) 2016-01-19 2022-12-29 매직 립, 인코포레이티드 눈 이미지 수집, 선택 및 결합
WO2018067357A2 (en) 2016-10-05 2018-04-12 Magic Leap, Inc. Periocular test for mixed reality calibration
CN117762256A (zh) 2017-05-31 2024-03-26 奇跃公司 眼睛跟踪校准技术
US11280603B2 (en) 2017-08-01 2022-03-22 Otm Technologies Ltd. Optical systems and methods for measuring rotational movement
CN107577344B (zh) * 2017-09-01 2020-04-28 广州励丰文化科技股份有限公司 一种mr头显设备的互动模式切换控制方法及系统
TWI658429B (zh) * 2017-09-07 2019-05-01 宏碁股份有限公司 影像結合方法與影像結合系統
AU2018338222A1 (en) 2017-09-21 2020-03-19 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
US10521662B2 (en) * 2018-01-12 2019-12-31 Microsoft Technology Licensing, Llc Unguided passive biometric enrollment
IL311004A (en) 2018-01-17 2024-04-01 Magic Leap Inc Display systems and methods for determining registration between a display and a user's eyes
CA3087333A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
CN110163460B (zh) * 2018-03-30 2023-09-19 腾讯科技(深圳)有限公司 一种确定应用分值的方法及设备
WO2019204765A1 (en) 2018-04-19 2019-10-24 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
JP7382387B2 (ja) * 2018-07-24 2023-11-16 マジック リープ, インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
US10964111B2 (en) 2018-07-27 2021-03-30 Microsoft Technology Licensing, Llc Controlling content included in a spatial mapping
US10984586B2 (en) * 2018-07-27 2021-04-20 Microsoft Technology Licensing, Llc Spatial mapping fusion from diverse sensing sources
CN112805659A (zh) 2018-08-03 2021-05-14 奇跃公司 通过用户分类为多深度平面显示系统选择深度平面
CN113168009A (zh) 2018-09-26 2021-07-23 奇跃公司 具有屈光力的衍射光学元件
US11580874B1 (en) * 2018-11-08 2023-02-14 Duke University Methods, systems, and computer readable media for automated attention assessment
US11813054B1 (en) 2018-11-08 2023-11-14 Duke University Methods, systems, and computer readable media for conducting an automatic assessment of postural control of a subject
WO2020191170A1 (en) 2019-03-20 2020-09-24 Magic Leap, Inc. System for providing illumination of the eye
US11181973B2 (en) * 2019-05-09 2021-11-23 Apple Inc. Techniques related to configuring a display device
US11074676B2 (en) * 2019-08-22 2021-07-27 Adobe Inc. Correction of misaligned eyes in images
EP3804606B1 (en) * 2019-10-07 2022-05-11 Optos PLC Ophthalmic imaging system
JP2023504207A (ja) 2019-12-09 2023-02-01 マジック リープ, インコーポレイテッド ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法
WO2021188926A1 (en) 2020-03-20 2021-09-23 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
US11662810B2 (en) * 2020-06-05 2023-05-30 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images
CN111784806A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种虚拟角色的绘制方法及装置
TW202206030A (zh) * 2020-07-14 2022-02-16 美商外科劇院股份有限公司 用於四維血管造影之系統及方法
EP4217920A1 (en) * 2020-09-25 2023-08-02 Apple Inc. Automatic selection of biometric based on quality of acquired image
US11656688B2 (en) * 2020-12-03 2023-05-23 Dell Products L.P. System and method for gesture enablement and information provisioning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120207357A1 (en) 2010-08-06 2012-08-16 Honeywell International Inc. Ocular and iris processing system and method
US20150178547A1 (en) 2013-12-23 2015-06-25 Ahmed Abdullah BAHJAT Apparatus and method for iris image analysis
US20150326570A1 (en) 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification

Family Cites Families (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
KR100244764B1 (ko) * 1997-05-23 2000-03-02 전주범 홍채패턴 식별에 의한 가상현실 서비스 제공장치 및 방법
JP3315648B2 (ja) 1998-07-17 2002-08-19 沖電気工業株式会社 アイリスコード生成装置およびアイリス認識システム
JP2001167252A (ja) 1999-12-10 2001-06-22 Oki Electric Ind Co Ltd 眼画像作成方法、アイリス認証方法及びアイリス認証装置
JP3995181B2 (ja) 1999-12-14 2007-10-24 沖電気工業株式会社 個体識別装置
KR100453943B1 (ko) * 2001-12-03 2004-10-20 주식회사 세넥스테크놀로지 개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템
CN2513168Y (zh) * 2001-12-05 2002-09-25 南宫钟 一种具有虹膜识别功能的身份确认装置
EP1335329B1 (en) 2002-02-05 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. Personal authentication method, personal authentication apparatus and image capturing device
JP2004086614A (ja) 2002-08-27 2004-03-18 Matsushita Electric Ind Co Ltd 目画像撮像装置及び目画像認証装置
WO2004025565A1 (ja) * 2002-09-13 2004-03-25 Matsushita Electric Industrial Co., Ltd. 虹彩コード化方法、個人認証方法、虹彩コード登録装置、虹彩認証装置、および虹彩認証プログラム
JP4162503B2 (ja) 2003-01-31 2008-10-08 富士通株式会社 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム
EP1507402A3 (en) * 2003-06-23 2005-07-20 Ricoh Company, Ltd. Access control decision system, access control enforcing system, and security policy
EP1647936B1 (en) * 2003-07-17 2012-05-30 Panasonic Corporation Iris code generation method, individual authentication method, iris code entry device, individual authentication device, and individual certification program
US8050463B2 (en) 2005-01-26 2011-11-01 Honeywell International Inc. Iris recognition system having image quality metrics
US7756301B2 (en) 2005-01-26 2010-07-13 Honeywell International Inc. Iris recognition system and method
KR20050025927A (ko) 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
US7336806B2 (en) 2004-03-22 2008-02-26 Microsoft Corporation Iris-based biometric identification
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
KR100629550B1 (ko) * 2004-11-22 2006-09-27 아이리텍 잉크 다중스케일 가변영역분할 홍채인식 방법 및 시스템
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
KR100729813B1 (ko) 2006-01-20 2007-06-18 (주)자이리스 홍채 인증용 촬영장치, 홍채 인증용 촬영모듈 및 홍채인증용 촬영장치를 구비하는 단말기
GB0603411D0 (en) * 2006-02-21 2006-03-29 Xvista Ltd Method of processing an image of an eye
JP4752660B2 (ja) 2006-07-28 2011-08-17 沖電気工業株式会社 個人認証方法及び個人認証装置
JP2008052510A (ja) * 2006-08-24 2008-03-06 Oki Electric Ind Co Ltd 虹彩撮像装置、虹彩認証装置、虹彩撮像方法、虹彩認証方法
GB0625912D0 (en) 2006-12-22 2007-02-07 Bid Instr Ltd Method for visual field testing
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
JP5277365B2 (ja) 2008-04-06 2013-08-28 国立大学法人九州工業大学 個人認証方法及びそれに使用する個人認証装置
US8411910B2 (en) * 2008-04-17 2013-04-02 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition
US8345936B2 (en) 2008-05-09 2013-01-01 Noblis, Inc. Multispectral iris fusion for enhancement and interoperability
KR101030652B1 (ko) * 2008-12-16 2011-04-20 아이리텍 잉크 홍채인식을 위한 고품질 아이이미지의 획득장치 및 방법
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8384774B2 (en) * 2010-02-15 2013-02-26 Eastman Kodak Company Glasses for viewing stereo images
KR101046459B1 (ko) 2010-05-13 2011-07-04 아이리텍 잉크 다수의 홍채템플릿을 이용한 홍채인식장치 및 방법
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN103688208B (zh) 2010-12-24 2017-06-06 奇跃公司 人体工程学头戴式显示设备和光学系统
CA3035118C (en) 2011-05-06 2022-01-04 Magic Leap, Inc. Massive simultaneous remote digital presence world
JP6144681B2 (ja) * 2011-08-30 2017-06-07 マイクロソフト テクノロジー ライセンシング,エルエルシー 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
WO2013037050A1 (en) * 2011-09-16 2013-03-21 Annidis Health Systems Corp. System and method for assessing retinal functionality and optical stimulator for use therein
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
US9345957B2 (en) 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
CA3048647C (en) 2011-10-28 2022-08-16 Magic Leap, Inc. System and method for augmented and virtual reality
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR102513896B1 (ko) 2011-11-23 2023-03-23 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US20130259322A1 (en) 2012-03-31 2013-10-03 Xiao Lin System And Method For Iris Image Analysis
WO2013152205A1 (en) 2012-04-05 2013-10-10 Augmented Vision Inc. Wide-field of view (fov) imaging devices with active foveation capability
WO2013167864A1 (en) * 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN107817556B (zh) 2012-06-11 2020-01-31 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
CN104813218A (zh) 2012-09-11 2015-07-29 奇跃公司 人机工程学的头戴显示设备和光学系统
KR101417433B1 (ko) 2012-11-27 2014-07-08 현대자동차주식회사 눈동자의 움직임을 이용한 사용자 인증 장치 및 그 방법
CN105027190B (zh) 2013-01-03 2019-06-21 美达视野股份有限公司 用于虚拟或增强介导视觉的射出空间成像数字眼镜
CA2898283C (en) 2013-01-15 2021-05-11 Magic Leap, Inc. Ultra-high resolution scanning fiber display
IL298018B2 (en) 2013-03-11 2024-04-01 Magic Leap Inc System and method for augmentation and virtual reality
KR102271726B1 (ko) 2013-03-15 2021-06-30 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
ES2944290T3 (es) 2013-04-26 2023-06-20 Genentech Inc Prueba de la visión perimétrica con integración de contornos
US20140341441A1 (en) 2013-05-20 2014-11-20 Motorola Mobility Llc Wearable device user authentication
US8958608B2 (en) * 2013-06-04 2015-02-17 Ut-Battelle, Llc Frontal view reconstruction for iris recognition
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9727129B2 (en) 2013-06-28 2017-08-08 Harman International Industries, Incorporated System and method for audio augmented reality
ITTV20130118A1 (it) 2013-07-29 2015-01-30 Sorridi Editore S R L Sistema computerizzato per la distribuzione di un prodotto editoriale digitale multipiattaforma e metodo relativo.
KR101968455B1 (ko) 2013-09-03 2019-04-11 토비 에이비 휴대용 눈 추적 디바이스
IL295157B2 (en) 2013-10-16 2023-10-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
TWI498769B (zh) 2013-11-18 2015-09-01 Quanta Comp Inc 頭戴式顯示裝置及其登入方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
NZ755272A (en) 2013-11-27 2020-05-29 Magic Leap Inc Virtual and augmented reality systems and methods
EP3100098B8 (en) 2014-01-31 2022-10-05 Magic Leap, Inc. Multi-focal display system and method
CA2938262C (en) 2014-01-31 2021-01-19 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR102227659B1 (ko) * 2014-03-12 2021-03-15 삼성전자주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
EP3149539A4 (en) 2014-05-30 2018-02-07 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
US20160034913A1 (en) 2014-07-30 2016-02-04 Hewlett-Packard Development Company, L.P. Selection of a frame for authentication
US9715781B2 (en) * 2014-09-26 2017-07-25 Bally Gaming, Inc. System and method for automatic eye tracking calibration
CN104318209B (zh) * 2014-10-13 2017-11-03 北京智谷睿拓技术服务有限公司 虹膜图像采集方法和设备
US9672341B2 (en) * 2014-10-30 2017-06-06 Delta ID Inc. Systems and methods for spoof detection in iris based biometric systems
US10019563B2 (en) 2014-12-05 2018-07-10 Sony Corporation Information processing apparatus and information processing method
US10452137B2 (en) * 2014-12-17 2019-10-22 Sony Corporation Information processing apparatus and information processing method
US10699116B2 (en) 2015-02-20 2020-06-30 Hewlett-Packard Development Company, L.P. Eye gaze authentication
US9495590B1 (en) 2015-04-23 2016-11-15 Global Bionic Optics, Ltd. Extended depth-of-field biometric system
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10474892B2 (en) 2015-05-26 2019-11-12 Lg Electronics Inc. Mobile terminal and control method therefor
US9888843B2 (en) * 2015-06-03 2018-02-13 Microsoft Technology Licensing, Llc Capacitive sensors for determining eye gaze direction
US9984507B2 (en) * 2015-11-19 2018-05-29 Oculus Vr, Llc Eye tracking for mitigating vergence and accommodation conflicts
CN107016270A (zh) * 2015-12-01 2017-08-04 由田新技股份有限公司 结合脸部认证或手部认证的动态图形眼动认证系统、方法
KR102483345B1 (ko) * 2016-01-19 2022-12-29 매직 립, 인코포레이티드 눈 이미지 수집, 선택 및 결합
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
US10002311B1 (en) 2017-02-10 2018-06-19 International Business Machines Corporation Generating an enriched knowledge base from annotated images
US11211775B2 (en) 2019-08-14 2021-12-28 Subcom, Llc Redundancy improvement in semiconductor-based optical communication systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120207357A1 (en) 2010-08-06 2012-08-16 Honeywell International Inc. Ocular and iris processing system and method
US20150178547A1 (en) 2013-12-23 2015-06-25 Ahmed Abdullah BAHJAT Apparatus and method for iris image analysis
US20150326570A1 (en) 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification

Also Published As

Publication number Publication date
IL272891A (en) 2020-04-30
US20170205875A1 (en) 2017-07-20
JP6824285B2 (ja) 2021-02-03
US10831264B2 (en) 2020-11-10
US11231775B2 (en) 2022-01-25
US20170206401A1 (en) 2017-07-20
AU2017208994B2 (en) 2022-01-20
KR102567431B1 (ko) 2023-08-14
US11209898B2 (en) 2021-12-28
AU2017208994A1 (en) 2018-08-02
AU2022202543A1 (en) 2022-05-12
CN114205574A (zh) 2022-03-18
IL272891B1 (en) 2023-05-01
JP2019502223A (ja) 2019-01-24
KR102483345B1 (ko) 2022-12-29
CN108780229B (zh) 2021-12-21
US11579694B2 (en) 2023-02-14
IL260603B (en) 2020-07-30
IL272891B2 (en) 2023-09-01
WO2017127366A1 (en) 2017-07-27
EP3405829A1 (en) 2018-11-28
JP6960494B2 (ja) 2021-11-05
CA3011637A1 (en) 2017-07-27
US20200097080A1 (en) 2020-03-26
KR20180104677A (ko) 2018-09-21
EP3405829A4 (en) 2019-09-18
JP2021184289A (ja) 2021-12-02
NZ744400A (en) 2019-11-29
JP2020102259A (ja) 2020-07-02
CN108780229A (zh) 2018-11-09
US10466778B2 (en) 2019-11-05
KR20230003464A (ko) 2023-01-05
US20170206412A1 (en) 2017-07-20
US20220066553A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
JP7405800B2 (ja) 眼画像の収集、選択および組み合わせ
JP7252407B2 (ja) バイオメトリックセキュリティのための青色光調節
JP7436600B2 (ja) 眼追跡のための個人化されたニューラルネットワーク
KR102433833B1 (ko) 오프-축 영상기를 이용한 눈 영상화
JP2023517281A (ja) 仮想および拡張現実ディスプレイシステムのための仮想オブジェクト移動速度曲線

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231214

R150 Certificate of patent or registration of utility model

Ref document number: 7405800

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150