JP7253087B2 - 眼画像セグメント化および画質推定のためのニューラルネットワーク - Google Patents
眼画像セグメント化および画質推定のためのニューラルネットワーク Download PDFInfo
- Publication number
- JP7253087B2 JP7253087B2 JP2022031663A JP2022031663A JP7253087B2 JP 7253087 B2 JP7253087 B2 JP 7253087B2 JP 2022031663 A JP2022031663 A JP 2022031663A JP 2022031663 A JP2022031663 A JP 2022031663A JP 7253087 B2 JP7253087 B2 JP 7253087B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- eye image
- segmentation
- eye
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims description 35
- 238000013528 artificial neural network Methods 0.000 title claims description 28
- 230000011218 segmentation Effects 0.000 claims description 193
- 238000013527 convolutional neural network Methods 0.000 claims description 184
- 238000000034 method Methods 0.000 claims description 184
- 210000001747 pupil Anatomy 0.000 claims description 128
- 238000012549 training Methods 0.000 claims description 92
- 230000008569 process Effects 0.000 claims description 77
- 238000010606 normalization Methods 0.000 claims description 73
- 238000011176 pooling Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 42
- 210000003786 sclera Anatomy 0.000 claims description 40
- 210000001508 eye Anatomy 0.000 description 620
- 230000004927 fusion Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 210000000744 eyelid Anatomy 0.000 description 13
- 230000004044 response Effects 0.000 description 10
- 230000001052 transient effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 210000000554 iris Anatomy 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 5
- 210000000720 eyelash Anatomy 0.000 description 5
- 230000001179 pupillary effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000002197 limbic effect Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 210000003491 skin Anatomy 0.000 description 3
- 241000256837 Apidae Species 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 240000000015 Iris germanica Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000019552 anatomical structure morphogenesis Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Eye Examination Apparatus (AREA)
Description
本願は、2016年9月29日に出願され、NEURAL NETWORK FOR EYE IMAGE SEGMENTATION AND IMAGE QUALITY ESTIMATIONと題されたロシア特許出願第2016138608号に対する優先権の利益を主張するものであり、該特許出願の全体は、参照により本明細書中に援用される。
本発明は、例えば、以下を提供する。
(項目1)
眼画像セグメント化および画質推定のためのシステムであって、前記システムは、
眼画像を取得するように構成される眼結像カメラと、
前記眼画像を記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記眼画像を受信することと、
畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成することと、
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備え、
前記畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、
前記セグメント化タワーは、セグメント化層と、共有層とを備え、
前記品質推定タワーは、品質推定層と、前記共有層とを備え、
前記共有層の第1の出力層は、前記セグメント化タワーの第1の入力層および前記セグメント化タワーの第2の入力層に接続され、前記第1の入力層または前記第2の入力層のうちの少なくとも1つは、連結層を備え、
前記共有層の第1の出力層は、前記品質推定層の入力層に接続され、
前記眼画像は、前記共有層の入力層によって受信される、
システム。
(項目2)
前記共有層の第2の出力層は、前記セグメント化タワーの第3の入力層に接続され、前記第3の入力層は、連結層を備える、項目1に記載のシステム。
(項目3)
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成するために、前記ハードウェアプロセッサは、
前記セグメント化タワーを使用して、前記眼画像のセグメント化を生成するようにプログラムされ、
前記セグメント化タワーの出力層の出力は、前記眼画像のセグメント化を備える、項目1に記載のシステム。
(項目4)
前記眼画像のセグメント化は、前記眼画像の背景、強膜、虹彩、または瞳孔を含む、項目3に記載のシステム。
(項目5)
前記ハードウェアプロセッサはさらに、
前記眼画像のセグメント化を使用して、前記眼画像内の眼の瞳孔輪郭を決定することと、
前記眼画像のセグメント化を使用して、前記眼画像内の眼の虹彩輪郭を決定することと、
前記眼画像内の非関連エリアのためのマスクを決定することと
を行うようにプログラムされる、項目4に記載のシステム。
(項目6)
前記共有層は、前記共有層によって算出された特徴マップの空間寸法を減少させ、特徴マップの数を増加させることによって、前記眼画像をエンコードするように構成される、項目1に記載のシステム。
(項目7)
前記セグメント化層は、前記特徴マップの空間寸法を増加させ、前記特徴マップの数を低減させることによって、前記共有層によってエンコードされた前記眼画像をデコードするように構成される、項目6に記載のシステム。
(項目8)
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成するために、前記ハードウェアプロセッサは、
前記品質推定タワーを使用して、前記眼画像の品質推定値を生成するようにプログラムされ、
前記品質推定タワーの出力層の出力は、前記眼画像の品質推定値を備える、項目1に記載のシステム。
(項目9)
前記品質推定タワーは、少なくとも2つのチャネルの出力を出力するように構成され、前記少なくとも2つのチャネルの第1のものは、高品質推定値を備え、前記少なくとも2つのチャネルの第2のものは、低品質推定値を備える、項目1に記載のシステム。
(項目10)
前記共有層、前記セグメント化層、または前記品質推定層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、ソフトサイン層、または任意のそれらの組み合わせを備える、項目1に記載のシステム。
(項目11)
眼画像セグメント化および画質推定のためのシステムであって、前記システムは、
眼画像を取得するように構成される眼結像カメラと、
前記眼画像を記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記眼画像を受信することと、
畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成することと、
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備え、
前記畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、
前記セグメント化タワーは、セグメント化層と、共有層とを備え、
前記品質推定タワーは、品質推定層と、前記共有層とを備え、
前記セグメント化層は、前記品質推定タワーと共有されず、
前記品質推定層は、前記セグメント化タワーと共有されず、
前記眼画像は、前記共有層の入力層によって受信される、
システム。
(項目12)
前記共有層の第1の出力層は、前記セグメント化タワーの第1の入力層に接続される、項目11に記載のシステム。
(項目13)
前記共有層の第1の出力層は、前記セグメント化タワーの第2の入力層に接続され、
前記第1の入力層または前記第2の入力層は、連結層を備える、
項目12に記載のシステム。
(項目14)
前記共有層の第1の出力層はさらに、前記品質推定タワーの入力層に接続される、項目12に記載のシステム。
(項目15)
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成するために、前記ハードウェアプロセッサは、
前記セグメント化タワーを使用して、前記眼画像のセグメント化を生成するようにプログラムされ、
前記セグメント化タワーの出力層の出力は、前記眼画像のセグメント化を備える、項目11に記載のシステム。
(項目16)
前記眼画像のセグメント化は、前記眼画像の背景、強膜、虹彩、または瞳孔を含む、項目11に記載のシステム。
(項目17)
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成するために、前記ハードウェアプロセッサは、
前記品質推定タワーを使用して、前記眼画像の品質推定値を生成するようにプログラムされ、
前記品質推定タワーの出力層の出力は、前記眼画像の品質推定値を備える、項目11に記載のシステム。
(項目18)
前記共有層、前記セグメント化層、または前記品質推定層は、畳み込み層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、または任意のそれらの組み合わせを備える、項目11に記載のシステム。
(項目19)
前記バッチ正規化層は、バッチローカルコントラスト正規化層またはバッチローカル応答正規化層である、項目18に記載のシステム。
(項目20)
前記共有層、前記セグメント化層、または前記品質推定層は、明度正規化層、ソフトサイン層、または任意のそれらの組み合わせを備える、項目11に記載のシステム。
概要
(例示的畳み込みニューラルネットワーク)
(例示的畳み込みニューラルネットワーク層)
(例示的共有層)
(例示的セグメント化層)
(例示的品質推定層)
(畳み込みニューラルネットワークの例示的訓練)
(例示的眼画像およびセグメント化された眼画像)
(眼画像セグメント化および画質推定のための例示的プロセス)
(瞳孔輪郭、虹彩輪郭、および非関連画像エリアのためのマスクを決定する例示的プロセス)
(瞳孔輪郭または虹彩輪郭を決定する例示的プロセス)
(例示的瞳孔輪郭および虹彩輪郭決定)
(セグメント化された極画像上で訓練されたトリプレットネットワークアーキテクチャを用いたCNNを使用した例示的虹彩認証)
(トリプレットネットワークアーキテクチャ)
式中、|EmbA-EmbP|は、埋込空間内のEmbA1316aとEmbP1316pとの間の絶対距離を示し、|EmbA-EmbN|は、EmbA1316aとEmbN1316nとの間の絶対距離を示し、mは、マージンを示す。マージンは、異なる実装では、異なり得る。例えば、マージンは、0.16または0.01~1.0の範囲内の別の数であることができる。したがって、いくつかの実装では、埋込1304は、同一人物からの眼画像間の埋込空間内の距離が異なる人物からの眼画像間の埋込空間内の距離より小さくなるように、複数の人物の眼画像から学習されることができる。式(1)の特定の実装の観点から、同一人物からの全ての眼画像間の埋込空間内の平方距離は、小さく、異なる人物からの眼画像のペア間の埋込空間内の平方距離は、大きい。
式中、nは、トリプレットのバッチ内のトリプレットの数を示し、EmbA(i)、EmbP(i)、およびEmbN(i)は、トリプレットのバッチ内のi番目のEmbA1316a、EmbP1316p、およびEmbN1316nを示す。
(例示的ウェアラブルディスプレイシステム)
(付加的側面)
(結論)
Claims (12)
- 眼画像セグメント化および画質推定のための畳み込みニューラルネットワークを訓練するための方法であって、前記方法は、ハードウェアプロセッサの制御下で、
眼画像の訓練セットを取得することと、
畳み込みニューラルネットワークに眼画像の前記訓練セットを提供することと、
前記畳み込みニューラルネットワークを眼画像の前記訓練セットで訓練することと
を行うことを含み、
前記畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、
前記セグメント化タワーは、セグメント化層と、共有層とを備え、
前記品質推定タワーは、品質推定層と、前記共有層とを備え、
前記共有層の少なくとも1つの出力層の第1のセットは、前記セグメント化層の少なくとも1つの入力層に接続され、前記共有層の少なくとも1つの出力層の第2のセットは、前記品質推定層の少なくとも1つの入力層に接続される、方法。 - 前記第1のセットおよび前記第2のセットの両方は、前記品質推定層の入力層および前記セグメント化層の入力層に接続される前記共有層の少なくとも1つの出力層を含む、請求項1に記載の方法。
- 前記畳み込みニューラルネットワークを眼画像の前記訓練セットで訓練することは、
前記セグメント化タワーを使用して、前記訓練セットの眼画像を処理し、前記眼画像のセグメント化を生成することと、
前記品質推定タワーを使用して、前記訓練セットの前記眼画像を処理し、前記眼画像の品質推定値を生成することと、
前記眼画像の前記セグメント化と前記眼画像の基準セグメント化との間の第1の差異を算出することと、
前記眼画像の前記品質推定値と前記眼画像の基準品質推定値との間の第2の差異を算出することと、
前記第1の差異および前記第2の差異を使用して、前記畳み込みニューラルネットワークのパラメータを更新することと
を含む、請求項1または2に記載の方法。 - 前記第1の差異および前記第2の差異を使用して、前記畳み込みニューラルネットワークの前記パラメータを更新することは、前記畳み込みニューラルネットワークを訓練するときに、第1の訓練サイクルの間、前記畳み込みニューラルネットワークの前記パラメータの第1のパーセンテージをゼロの値に設定することを含む、請求項3に記載の方法。
- 前記畳み込みニューラルネットワークを訓練するときに、前記第1の訓練サイクルの間、前記畳み込みニューラルネットワークの前記パラメータの前記第1のパーセンテージをゼロの値に設定することは、前記畳み込みニューラルネットワークを訓練するときに、前記第1の訓練サイクルの間、前記畳み込みニューラルネットワークの前記パラメータの前記第1のパーセンテージをゼロの値にランダムに設定することを含む、請求項4に記載の方法。
- 前記第1の差異および前記第2の差異を使用して、前記畳み込みニューラルネットワークの前記パラメータを更新することはさらに、前記畳み込みニューラルネットワークを訓練するときに、第2の訓練サイクルの間、前記畳み込みニューラルネットワークの前記パラメータの第2のパーセンテージをゼロの値に設定することを含む、請求項4に記載の方法。
- 前記畳み込みニューラルネットワークを訓練するときに、前記第2の訓練サイクルの間、前記畳み込みニューラルネットワークの前記パラメータの前記第2のパーセンテージをゼロの値に設定することは、前記畳み込みニューラルネットワークを訓練するときに、前記第2の訓練サイクルの間、前記畳み込みニューラルネットワークの前記パラメータの前記第2のパーセンテージをゼロの値にランダムに設定することを含む、請求項6に記載の方法。
- 前記第1のパーセンテージまたは前記第2のパーセンテージは、50%~30%である、請求項7に記載の方法。
- 前記眼画像の前記セグメント化は、前記眼画像の背景、強膜、虹彩、または瞳孔を備え、前記眼画像の前記基準セグメント化は、前記眼画像の基準背景、基準強膜、基準虹彩、または基準瞳孔を備える、請求項3~8のいずれか1項に記載の方法。
- 前記共有層、前記セグメント化層、または前記品質推定層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、ソフトサイン層、または任意のそれらの組み合わせを備える、請求項1~9のいずれか1項に記載の方法。
- 前記共有層の第1の中間層の出力は、前記セグメント化層の第3の入力層に接続される、請求項1~10のいずれか1項に記載の方法。
- コンピューティングシステムであって、
1つ以上のプロセッサと、
命令を記憶しているメモリと
を備え、
前記命令は、前記1つ以上のプロセッサによって実行されると、請求項1~11のいずれかの請求項の動作を前記1つ以上のプロセッサに実施させる、コンピューティングシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2016138608 | 2016-09-29 | ||
RU2016138608A RU2016138608A (ru) | 2016-09-29 | 2016-09-29 | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
JP2020089392A JP7035110B2 (ja) | 2016-09-29 | 2020-05-22 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020089392A Division JP7035110B2 (ja) | 2016-09-29 | 2020-05-22 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022066352A JP2022066352A (ja) | 2022-04-28 |
JP7253087B2 true JP7253087B2 (ja) | 2023-04-05 |
Family
ID=61686461
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019516390A Active JP6785952B2 (ja) | 2016-09-29 | 2017-05-25 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
JP2020089392A Active JP7035110B2 (ja) | 2016-09-29 | 2020-05-22 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
JP2022031663A Active JP7253087B2 (ja) | 2016-09-29 | 2022-03-02 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019516390A Active JP6785952B2 (ja) | 2016-09-29 | 2017-05-25 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
JP2020089392A Active JP7035110B2 (ja) | 2016-09-29 | 2020-05-22 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
Country Status (10)
Country | Link |
---|---|
US (4) | US10445881B2 (ja) |
EP (1) | EP3518731A4 (ja) |
JP (3) | JP6785952B2 (ja) |
KR (4) | KR20230137500A (ja) |
CN (2) | CN110022753B (ja) |
AU (1) | AU2017337317B2 (ja) |
CA (1) | CA3038031A1 (ja) |
IL (2) | IL265534B2 (ja) |
RU (1) | RU2016138608A (ja) |
WO (1) | WO2018063451A1 (ja) |
Families Citing this family (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US8693731B2 (en) * | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US9495590B1 (en) * | 2015-04-23 | 2016-11-15 | Global Bionic Optics, Ltd. | Extended depth-of-field biometric system |
JP7001672B2 (ja) | 2016-07-14 | 2022-01-19 | マジック リープ, インコーポレイテッド | 虹彩識別のためのディープニューラルネットワーク |
US10643124B2 (en) * | 2016-08-12 | 2020-05-05 | Beijing Deephi Intelligent Technology Co., Ltd. | Method and device for quantizing complex artificial neural network |
US10802992B2 (en) | 2016-08-12 | 2020-10-13 | Xilinx Technology Beijing Limited | Combining CPU and special accelerator for implementing an artificial neural network |
RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
CA3043352A1 (en) | 2016-11-15 | 2018-05-24 | Magic Leap, Inc. | Deep learning system for cuboid detection |
CA3046035A1 (en) * | 2016-12-05 | 2018-06-14 | Avigilon Coporation | System and method for cnn layer sharing |
AU2017370555B2 (en) | 2016-12-05 | 2022-12-15 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
US10963676B2 (en) * | 2016-12-23 | 2021-03-30 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
KR102302725B1 (ko) | 2017-03-17 | 2021-09-14 | 매직 립, 인코포레이티드 | 룸 레이아웃 추정 방법들 및 기술들 |
JP6930223B2 (ja) * | 2017-05-31 | 2021-09-01 | 富士通株式会社 | 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法 |
WO2018222897A1 (en) * | 2017-06-01 | 2018-12-06 | University Of Washington | Smartphone-based digital pupillometer |
AU2018308418A1 (en) | 2017-07-26 | 2020-01-16 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
KR20200055704A (ko) | 2017-09-20 | 2020-05-21 | 매직 립, 인코포레이티드 | 눈 추적을 위한 개인화된 뉴럴 네트워크 |
CN107633295B (zh) * | 2017-09-25 | 2020-04-28 | 南京地平线机器人技术有限公司 | 用于适配神经网络的参数的方法和装置 |
US11537895B2 (en) | 2017-10-26 | 2022-12-27 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
US10853691B1 (en) * | 2018-01-25 | 2020-12-01 | Apple Inc. | Neural network architecture |
EP3750028B1 (en) | 2018-02-09 | 2022-10-19 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
WO2019154511A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
JP7013017B2 (ja) * | 2018-03-20 | 2022-01-31 | 国立研究開発法人産業技術総合研究所 | 演算システム |
US10949969B1 (en) * | 2018-03-20 | 2021-03-16 | Welch Allyn, Inc. | Pupil edge region removal in digital imaging |
JP2019177032A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社ニデック | 眼科画像処理装置、および眼科画像処理プログラム |
CN108629744B (zh) * | 2018-04-09 | 2021-07-30 | 北京无线电计量测试研究所 | 一种图像增强方法 |
US10671855B2 (en) * | 2018-04-10 | 2020-06-02 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
CN108875787B (zh) * | 2018-05-23 | 2020-07-14 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
JP7079483B2 (ja) * | 2018-06-18 | 2022-06-02 | 国立研究開発法人産業技術総合研究所 | 情報処理方法、システム及びプログラム |
EP3811182A4 (en) | 2018-06-22 | 2021-07-28 | Magic Leap, Inc. | METHOD AND SYSTEM FOR PERFORMING EYE TRACKING USING AN OFF-AXIAL CAMERA |
US11320899B2 (en) | 2018-07-23 | 2022-05-03 | Magic Leap, Inc. | Deep predictor recurrent neural network for head pose prediction |
CN109087310B (zh) * | 2018-07-24 | 2022-07-12 | 深圳大学 | 睑板腺纹理区域的分割方法、系统、存储介质及智能终端 |
US10713491B2 (en) * | 2018-07-27 | 2020-07-14 | Google Llc | Object detection using spatio-temporal feature maps |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
CN109360183B (zh) * | 2018-08-20 | 2021-05-11 | 中国电子进出口有限公司 | 一种基于卷积神经网络的人脸图像质量评估方法和系统 |
CN109377498B (zh) * | 2018-08-31 | 2021-08-20 | 大连理工大学 | 基于循环神经网络的交互式抠图方法 |
US10229346B1 (en) * | 2018-09-04 | 2019-03-12 | StradVision, Inc. | Learning method, learning device for detecting object using edge image and testing method, testing device using the same |
CN109325954B (zh) * | 2018-09-18 | 2021-08-10 | 北京旷视科技有限公司 | 图像分割方法、装置及电子设备 |
US11048977B1 (en) * | 2018-09-27 | 2021-06-29 | Apple Inc. | Method and device for pixel-level object segmentation |
EP3861387A4 (en) | 2018-10-05 | 2022-05-25 | Magic Leap, Inc. | RENDERING LOCATION-SPECIFIC VIRTUAL CONTENT IN ANY LOCATION |
EP3644275A1 (en) * | 2018-10-22 | 2020-04-29 | Koninklijke Philips N.V. | Predicting correctness of algorithmic segmentation |
WO2020093042A1 (en) * | 2018-11-02 | 2020-05-07 | Deep Lens, Inc. | Neural networks for biomedical image analysis |
US10977548B2 (en) | 2018-12-05 | 2021-04-13 | Bank Of America Corporation | Generation of capsule neural networks for enhancing image processing platforms |
US11263419B2 (en) * | 2018-12-11 | 2022-03-01 | Shanghai Harvest Intelligence Technology Co., Ltd | Biometric analysis structure, method and neural network with coded mask |
US11537202B2 (en) | 2019-01-16 | 2022-12-27 | Pupil Labs Gmbh | Methods for generating calibration data for head-wearable devices and eye tracking system |
US10325179B1 (en) * | 2019-01-23 | 2019-06-18 | StradVision, Inc. | Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same |
CA3131154A1 (en) * | 2019-02-21 | 2020-08-27 | Case Western Reserve University | Processing three-dimensional (3d) ultrasound images |
CN110059586B (zh) * | 2019-03-29 | 2022-03-15 | 电子科技大学 | 一种基于空洞残差注意力结构的虹膜定位分割系统 |
US20220148333A1 (en) * | 2019-04-10 | 2022-05-12 | Eyeware Tech Sa | Method and system for estimating eye-related geometric parameters of a user |
CN110046588B (zh) * | 2019-04-22 | 2019-11-01 | 吉林大学 | 一种具有盗取攻击应对机制的异质虹膜认证方法 |
US11435820B1 (en) * | 2019-05-16 | 2022-09-06 | Facebook Technologies, Llc | Gaze detection pipeline in an artificial reality system |
US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
US11176368B2 (en) | 2019-06-13 | 2021-11-16 | International Business Machines Corporation | Visually focused first-person neural network interpretation |
US11301677B2 (en) * | 2019-06-14 | 2022-04-12 | Tobil AB | Deep learning for three dimensional (3D) gaze prediction |
CN110309914A (zh) * | 2019-07-03 | 2019-10-08 | 中山大学 | 基于边缘服务器与移动端设备协同的深度学习模型推理加速方法 |
FR3098960B1 (fr) * | 2019-07-16 | 2021-07-16 | Idemia Identity & Security France | Procédé d’extraction d’un vecteur caractéristique à partir d’une image d’entrée représentative d’un iris au moyen d’un réseau de neurones entrainable de bout-en-bout |
CN110490083A (zh) * | 2019-07-23 | 2019-11-22 | 苏州国科视清医疗科技有限公司 | 一种基于快速人眼语义分割网络的瞳孔精确检测方法 |
WO2021034961A1 (en) * | 2019-08-19 | 2021-02-25 | Magic Leap, Inc. | Eye tracking and gaze estimation using off-axis camera |
WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
WO2021076757A1 (en) * | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system supporting multiple device types |
RU2716914C1 (ru) * | 2019-10-22 | 2020-03-17 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Юго-Западный государственный университет" (ЮЗГУ) | Способ автоматической классификации рентгеновских изображений с использованием масок прозрачности |
CN110929672B (zh) * | 2019-11-28 | 2024-03-01 | 联想(北京)有限公司 | 瞳孔定位方法和电子设备 |
WO2021118962A1 (en) | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
US11869535B1 (en) * | 2019-12-12 | 2024-01-09 | Amazon Technologies, Inc. | Character-level emotion detection |
CN111191605A (zh) * | 2019-12-31 | 2020-05-22 | 上海电力大学 | 一种基于级联神经网络的多任务虹膜快速定位方法 |
JP2023514208A (ja) | 2020-02-13 | 2023-04-05 | マジック リープ, インコーポレイテッド | マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム |
CN111353060B (zh) * | 2020-03-16 | 2020-11-06 | 黄华 | 基于区块链的云计算大数据图片存储方法及系统 |
CN111553880A (zh) * | 2020-03-26 | 2020-08-18 | 北京中科虹霸科技有限公司 | 模型生成方法、标签标注方法、虹膜图像质量评价方法及装置 |
WO2021192311A1 (ja) * | 2020-03-27 | 2021-09-30 | 日本電気株式会社 | 判定装置、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
US11921917B2 (en) | 2020-04-07 | 2024-03-05 | Eyetech Digital Systems, Inc. | Compact eye-tracking camera systems and methods |
US10996753B1 (en) | 2020-04-07 | 2021-05-04 | Eyetech Digital Systems, Inc. | Multi-mode eye-tracking with independently operable illuminators |
KR102497990B1 (ko) * | 2020-08-13 | 2023-02-09 | 순천향대학교 산학협력단 | 전이학습을 이용한 안저 이미지 품질 평가 장치 및 방법 |
CN116368492A (zh) * | 2020-09-02 | 2023-06-30 | 新加坡保健服务集团有限公司 | 图像分割系统和方法 |
US11688200B2 (en) * | 2020-12-28 | 2023-06-27 | Fortinet, Inc. | Joint facial feature extraction and facial image quality estimation using a deep neural network (DNN) trained with a custom-labeled training dataset and having a common DNN backbone |
CN112669289A (zh) * | 2020-12-30 | 2021-04-16 | 科大讯飞股份有限公司 | 影像质量评估方法、装置、电子设备及存储介质 |
CN112733794B (zh) * | 2021-01-22 | 2021-10-15 | 腾讯科技(深圳)有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
WO2022204666A1 (en) * | 2021-03-25 | 2022-09-29 | Sri International | Polarized image enhancement using deep neural networks |
US20230081128A1 (en) * | 2021-09-16 | 2023-03-16 | Samsung Electronics Co., Ltd. | Picture quality-sensitive semantic segmentation for use in training image generation adversarial networks |
US12002290B2 (en) | 2022-02-25 | 2024-06-04 | Eyetech Digital Systems, Inc. | Systems and methods for hybrid edge/cloud processing of eye-tracking image data |
SE2251254A1 (en) * | 2022-10-28 | 2024-04-29 | Kontigo Care Ab | Method for estimating pupil size |
CN115807685B (zh) * | 2023-01-20 | 2023-04-28 | 太原理工大学 | 矿用锚护装备钻锚作业的自动控制系统 |
CN116110574B (zh) * | 2023-04-14 | 2023-06-20 | 武汉大学人民医院(湖北省人民医院) | 一种基于神经网络实现的眼科智能问诊方法和装置 |
CN117523208B (zh) * | 2024-01-08 | 2024-04-16 | 暨南大学 | 基于图像语义分割与分类的身份识别方法与系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009529200A (ja) | 2006-03-03 | 2009-08-13 | ハネウェル・インターナショナル・インコーポレーテッド | 画像品質メトリックを有する虹彩認識システム |
Family Cites Families (77)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5291560A (en) | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5583795A (en) | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
CN1650622B (zh) | 2002-03-13 | 2012-09-05 | 图象公司 | 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法 |
JP2004206444A (ja) * | 2002-12-25 | 2004-07-22 | Matsushita Electric Ind Co Ltd | 個人認証方法および虹彩認証装置 |
US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
KR20050025927A (ko) | 2003-09-08 | 2005-03-14 | 유웅덕 | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 |
US7248720B2 (en) | 2004-10-21 | 2007-07-24 | Retica Systems, Inc. | Method and system for generating a combined retina/iris pattern biometric |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
JP4824420B2 (ja) | 2006-02-07 | 2011-11-30 | アイテック株式会社 | 視線ベクトル検出方法及び同装置 |
US7970179B2 (en) | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
US8363783B2 (en) | 2007-06-04 | 2013-01-29 | Oraya Therapeutics, Inc. | Method and device for ocular alignment and coupling of ocular structures |
US8098891B2 (en) | 2007-11-29 | 2012-01-17 | Nec Laboratories America, Inc. | Efficient multi-hypothesis multi-human 3D tracking in crowded scenes |
EP2257636A4 (en) | 2008-07-03 | 2014-10-15 | Nec Lab America Inc | EPITHELIAL LAYER DETECTOR AND RELATED METHODS |
US8644565B2 (en) * | 2008-07-23 | 2014-02-04 | Indiana University Research And Technology Corp. | System and method for non-cooperative iris image acquisition |
US8768014B2 (en) * | 2009-01-14 | 2014-07-01 | Indiana University Research And Technology Corp. | System and method for identifying a person with reference to a sclera image |
WO2011091326A1 (en) | 2010-01-22 | 2011-07-28 | Optimedica Corporation | Apparatus for automated placement of scanned laser capsulorhexis incisions |
US8345984B2 (en) | 2010-01-28 | 2013-01-01 | Nec Laboratories America, Inc. | 3D convolutional neural networks for automatic human action recognition |
US8948467B2 (en) * | 2010-08-06 | 2015-02-03 | Honeywell International Inc. | Ocular and iris processing system and method |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
EP2656135B1 (en) | 2010-12-24 | 2022-05-04 | Magic Leap, Inc. | Freeform waveguide prism |
WO2012154620A2 (en) | 2011-05-06 | 2012-11-15 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
JP2013038602A (ja) | 2011-08-08 | 2013-02-21 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
EP3258671B1 (en) | 2011-10-28 | 2018-09-05 | Magic Leap, Inc. | System and method for augmented and virtual reality |
BR112014012615A2 (pt) | 2011-11-23 | 2017-06-13 | Magic Leap Inc | sistema de exibição de realidade aumentada e virtual tridimensional |
NZ700887A (en) | 2012-04-05 | 2016-11-25 | Magic Leap Inc | Wide-field of view (fov) imaging devices with active foveation capability |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN104737061B (zh) | 2012-06-11 | 2018-01-16 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US9141916B1 (en) | 2012-06-29 | 2015-09-22 | Google Inc. | Using embedding functions with a deep network |
US9262680B2 (en) | 2012-07-31 | 2016-02-16 | Japan Science And Technology Agency | Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium |
US8369595B1 (en) * | 2012-08-10 | 2013-02-05 | EyeVerify LLC | Texture features for biometric authentication |
US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
WO2014087409A1 (en) * | 2012-12-05 | 2014-06-12 | Garber Miriam | Computerized iridodiagnosis |
JP6452617B2 (ja) * | 2012-12-10 | 2019-01-16 | エスアールアイ インターナショナルSRI International | バイオメトリク虹彩照合システム |
IL301489B1 (en) | 2013-01-15 | 2024-04-01 | Magic Leap Inc | A system for scanning electromagnetic imaging radiation |
EP2967322A4 (en) | 2013-03-11 | 2017-02-08 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9147154B2 (en) | 2013-03-13 | 2015-09-29 | Google Inc. | Classifying resources using a deep network |
KR20230113418A (ko) | 2013-03-15 | 2023-07-28 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
WO2014182769A1 (en) * | 2013-05-07 | 2014-11-13 | The Johns Hopkins University | Automated and non-mydriatic fundus-perimetry camera for irreversible eye diseases |
US9275308B2 (en) | 2013-05-31 | 2016-03-01 | Google Inc. | Object detection using deep neural networks |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US20140380249A1 (en) | 2013-06-25 | 2014-12-25 | Apple Inc. | Visual recognition of gestures |
CN103431840B (zh) * | 2013-07-31 | 2016-01-20 | 北京智谷睿拓技术服务有限公司 | 眼睛光学参数检测系统及方法 |
CN105829953B (zh) | 2013-10-16 | 2019-05-28 | 奇跃公司 | 具有可调节的瞳距的虚拟或增强现实头戴设备 |
US9202144B2 (en) | 2013-10-30 | 2015-12-01 | Nec Laboratories America, Inc. | Regionlets with shift invariant neural patterns for object detection |
US10095917B2 (en) | 2013-11-04 | 2018-10-09 | Facebook, Inc. | Systems and methods for facial representation |
JP6236296B2 (ja) | 2013-11-14 | 2017-11-22 | 株式会社デンソーアイティーラボラトリ | 学習装置、学習プログラム、及び学習方法 |
CN103632137B (zh) * | 2013-11-15 | 2016-08-24 | 长沙理工大学 | 一种人眼虹膜图像分割方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
US10175478B2 (en) | 2014-05-30 | 2019-01-08 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
CN110542938B (zh) | 2013-11-27 | 2023-04-18 | 奇跃公司 | 虚拟和增强现实系统与方法 |
US9430829B2 (en) | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
WO2015117043A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
NZ722903A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
IL231862A (en) | 2014-04-01 | 2015-04-30 | Superfish Ltd | Image representation using a neural network |
WO2015164807A1 (en) | 2014-04-25 | 2015-10-29 | Texas State University | Detection of brain injury and subject state with eye movement biometrics |
CN106537290B (zh) | 2014-05-09 | 2019-08-27 | 谷歌有限责任公司 | 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法 |
US9536293B2 (en) | 2014-07-30 | 2017-01-03 | Adobe Systems Incorporated | Image assessment using deep convolutional neural networks |
US20160034811A1 (en) | 2014-07-31 | 2016-02-04 | Apple Inc. | Efficient generation of complementary acoustic models for performing automatic speech recognition system combination |
US9659384B2 (en) * | 2014-10-03 | 2017-05-23 | EyeEm Mobile GmbH. | Systems, methods, and computer program products for searching and sorting images by aesthetic quality |
CN105917354A (zh) | 2014-10-09 | 2016-08-31 | 微软技术许可有限责任公司 | 用于图像处理的空间金字塔池化网络 |
US9530071B2 (en) * | 2014-10-10 | 2016-12-27 | Beijing Kuangshi Technology Co., Ltd. | Hierarchical interlinked multi-scale convolutional network for image parsing |
CN104408717A (zh) | 2014-11-24 | 2015-03-11 | 北京航空航天大学 | 一种基于着色分离的病理图像颜色质量综合评价方法 |
KR102276339B1 (ko) | 2014-12-09 | 2021-07-12 | 삼성전자주식회사 | Cnn의 근사화를 위한 학습 장치 및 방법 |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
CN112836664A (zh) | 2015-08-21 | 2021-05-25 | 奇跃公司 | 使用眼睛姿态测量的眼睑形状估计 |
CN105303185A (zh) * | 2015-11-27 | 2016-02-03 | 中国科学院深圳先进技术研究院 | 虹膜定位方法及装置 |
JP7001672B2 (ja) | 2016-07-14 | 2022-01-19 | マジック リープ, インコーポレイテッド | 虹彩識別のためのディープニューラルネットワーク |
WO2018013199A1 (en) | 2016-07-14 | 2018-01-18 | Magic Leap, Inc. | Iris boundary estimation using cornea curvature |
RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
-
2016
- 2016-09-29 RU RU2016138608A patent/RU2016138608A/ru not_active Application Discontinuation
-
2017
- 2017-05-25 CN CN201780073170.4A patent/CN110022753B/zh active Active
- 2017-05-25 CN CN202210134787.5A patent/CN114495250A/zh active Pending
- 2017-05-25 CA CA3038031A patent/CA3038031A1/en active Pending
- 2017-05-25 US US15/605,567 patent/US10445881B2/en active Active
- 2017-05-25 JP JP2019516390A patent/JP6785952B2/ja active Active
- 2017-05-25 KR KR1020237032251A patent/KR20230137500A/ko active Application Filing
- 2017-05-25 IL IL265534A patent/IL265534B2/en unknown
- 2017-05-25 IL IL308022A patent/IL308022A/en unknown
- 2017-05-25 EP EP17856946.3A patent/EP3518731A4/en active Pending
- 2017-05-25 KR KR1020227035459A patent/KR102583040B1/ko active IP Right Grant
- 2017-05-25 KR KR1020217006298A patent/KR102456024B1/ko active IP Right Grant
- 2017-05-25 WO PCT/US2017/034482 patent/WO2018063451A1/en unknown
- 2017-05-25 AU AU2017337317A patent/AU2017337317B2/en not_active Expired - Fee Related
- 2017-05-25 KR KR1020197011904A patent/KR102225527B1/ko active IP Right Grant
-
2019
- 2019-09-13 US US16/570,418 patent/US11100644B2/en active Active
-
2020
- 2020-05-22 JP JP2020089392A patent/JP7035110B2/ja active Active
-
2021
- 2021-08-20 US US17/407,763 patent/US11776131B2/en active Active
-
2022
- 2022-03-02 JP JP2022031663A patent/JP7253087B2/ja active Active
-
2023
- 2023-08-24 US US18/455,093 patent/US20240029269A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009529200A (ja) | 2006-03-03 | 2009-08-13 | ハネウェル・インターナショナル・インコーポレーテッド | 画像品質メトリックを有する虹彩認識システム |
Non-Patent Citations (2)
Title |
---|
JOU,Brendan, et al,Deep Cross Residual Learning for Multitask Visual Recognition,arXiv.ORG,米国,CORNELL UNIVERSITY,2016年04月05日,pp.1-10,https://arxiv.org/abs/1604.01335,XP080693514 |
MOTTALLI,Marcelo,et al.,Flexible image segmentation and quality assessment for real-time iris recognition,2009 16th IEEE International Conference on Image Processing (ICIP),米国,IEEE,2009年11月07日,1941 - 1944,https://ieeexplore.ieee.org/document/5414530,ISBN:978-1-4244-5653-6 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7253087B2 (ja) | 眼画像セグメント化および画質推定のためのニューラルネットワーク | |
JP7237137B2 (ja) | 虹彩識別のためのディープニューラルネットワーク | |
JP7305859B2 (ja) | 部屋レイアウト推定方法および技法 | |
JP7231676B2 (ja) | 眼ポーズ測定を用いた眼瞼形状推定 | |
JP7151016B2 (ja) | 直方体検出のための深層機械学習システム | |
JP4372411B2 (ja) | アピアランスモデルの生成方法 | |
US20120219213A1 (en) | Embedded Optical Flow Features | |
US20170243053A1 (en) | Real-time facial segmentation and performance capture from rgb input | |
WO2021021554A1 (en) | Real time perspective correction on faces | |
KR102303002B1 (ko) | 의사 블러 합성기를 이용한 사람이 포함된 영상의 디블러링 방법 및 장치 | |
KR102639187B1 (ko) | 얼굴 합성 서비스를 제공하는 방법 및 이를 위한 장치 | |
CN115035173A (zh) | 基于帧间相关性的单目深度估计方法及系统 | |
NZ788647A (en) | Neural network for eye image segmentation and image quality estimation | |
WO2023056149A1 (en) | Image processing framework for performing object depth estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7253087 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |