JPWO2019077863A1 - 識別装置及び電子機器 - Google Patents
識別装置及び電子機器 Download PDFInfo
- Publication number
- JPWO2019077863A1 JPWO2019077863A1 JP2019518314A JP2019518314A JPWO2019077863A1 JP WO2019077863 A1 JPWO2019077863 A1 JP WO2019077863A1 JP 2019518314 A JP2019518314 A JP 2019518314A JP 2019518314 A JP2019518314 A JP 2019518314A JP WO2019077863 A1 JPWO2019077863 A1 JP WO2019077863A1
- Authority
- JP
- Japan
- Prior art keywords
- identification
- information
- reflected light
- unit
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000010606 normalization Methods 0.000 claims description 70
- 230000006870 function Effects 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 18
- 238000000034 method Methods 0.000 description 65
- 230000000052 comparative effect Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000005286 illumination Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
1. 本発明者が本開示に係る実施形態を創作するに至る背景
2. 本開示の実施形態の概要
3. 第1の実施形態
3.1 第1の実施形態に係る識別システム10の概要
3.2 TOFセンサ100の詳細構成
3.3 処理ユニット200の詳細構成
3.4 識別方法
3.4.1 登録段階
3.4.2 識別段階
4. 第2の実施形態
4.1 識別方法
4.1.1 登録段階
4.2.2 識別段階
5. 第3の実施形態
6. 第4の実施形態
7. まとめ
8. 補足
次に、本開示に係る実施形態の詳細を説明する前に、本発明者が本開示に係る実施形態を創作するに至る背景について、図1を参照して説明する。図1は、比較例の識別装置による識別方法を説明するための説明図であり、ここで比較例とは、本発明者が、本開示に係る実施形態を創作するまで検討を続けていた識別装置や識別方法のことを意味する。
まずは、本開示の実施形態の概要を図2及び図3を参照して説明する。図2は、本開示の実施形態に係る識別装置で用いられる画像を説明するための説明図であり、図3は、本開示の実施形態に係る識別方法と比較例の識別方法との違いを説明するための説明図である。
<3.1 第1の実施形態に係る識別システム10の概要>
まずは、本開示の第1の実施形態に係る識別システム(識別装置)10の概要について、図4を参照して説明する。図4は、本実施形態に係る識別システム10の構成例を示すブロック図である。図4に示すように、本実施形態に係る識別システム10は、TOFセンサ100と、処理ユニット200と、記憶部300と、表示部400とを主に含む。以下に、本実施形態に係る識別システム10に含まれる各装置の概要について説明する。
TOFセンサ100は、被写体の距離情報及び直接反射光情報(具体的には、図2に示される距離画像600及び直接反射光画像700)を取得するためのセンシングデータを取得する。詳細には、TOFセンサ100は、被写体(対象物)に赤外光等の照射光を照射し、被写体で反射された直接反射光等を検知することによって得たセンシングデータを、後述する処理ユニット200に出力する。当該処理ユニット200は、センシングデータに基づいて、照射光と反射光との位相差を算出することにより、被写体の距離情報(奥行き)を取得することができる。また、当該処理ユニット200は、センシングデータを処理することにより、被写体の直接反射光情報を得ることもできる。なお、上述のように位相差により距離情報を得る方法は、インダイレクトTOF方式と呼ばれている。TOFセンサ100の詳細については後述する。
処理ユニット200は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を中心に構成されており、後述する記憶部300に登録用画像(具体的には、登録用距離画像602、登録用直接反射光画像702等)を格納したり、記憶部300に格納された上記登録用画像を用いて、人物の識別等を行ったりすることができる。なお、処理ユニット200の詳細は後述する。
記憶部300は、ROM及びRAM等から実現され、先に説明したように、識別を行う際に用いる上記登録用画像を格納する。
表示部400は、ユーザに対して、識別結果等を出力する機能部であり、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置等により実現される。例えば、表示部400は、新たに撮像された人物の顔画像が、上述した記憶部300に格納された上記登録用画像と一致していた場合には、上記登録用画像に紐づけられた人物の名前等の情報を表示する。一方、新たに撮像された人物の顔画像が、上記登録用画像と一致していない場合には、一致していない旨を表示する。
以上、本実施形態に係る識別システム10の概要を説明した。次に、本実施形態に係るTOFセンサ100の詳細構成について、図5を参照して説明する。図5は、本実施形態に係るTOFセンサ100の構成例を示すブロック図である。図5に示すように、TOFセンサ100は、照射部102と受光部104とを主に有する。以下に、TOFセンサ100の各機能部の詳細について説明する。
照射部102は、レーザ光源(図示省略)と光学素子(図示省略)とを有している。レーザ光源としては、例えば、レーザダイオードが用いられ、照射される光の波長は、レーザダイオードを適宜選択することにより、変えることができる。なお、本実施形態においては、照射部102は、例えば、波長785nm付近の赤外光を照射するものとして説明するが、本実施形態においては、このような赤外光を照射することに限定されるものではない。
受光部104は、集光レンズ(図示省略)と受光素子(図示省略)とを有している。集光レンズは、受光した光を受光素子に集める機能を有する。また、受光素子は、例えば、複数の画素を持つCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなり、画素ごとに、受光した光の強度に基づいて受光信号を生成し、生成した受光信号を処理ユニット200へ出力する。
以上、本実施形態に係るTOFセンサ100の詳細構成について説明した。次に、本実施形態に係る処理ユニット200の詳細構成について、図4を参照して説明する。図4に示すように、処理ユニット200は、距離情報算出部202、直接反射光算出部(直接反射光情報算出部)204、被写体検出部(対象物検出部)206、3次元変換部(3次元座標算出部)208、被写体正規化部(正規化処理部)210、及び被写体識別部(対象物識別部)212を主に有する。以下に、処理ユニット200の各機能部の詳細について説明する。
距離情報算出部202は、先に説明したように、TOFセンサ100からのセンシングデータに基づき、照射光と反射光との位相差を算出し、位相差に基づいて、被写体の距離情報(距離画像600)を算出する。距離情報算出部202で算出された距離情報は、TOFセンサ100の受光部104の画素の位置情報に紐づけられた情報であることから、上述の2.5次元情報であるといえる。さらに、距離情報算出部202は、算出した距離情報を、後述する被写体検出部206、3次元変換部208、被写体正規化部210等に出力することができる。
直接反射光算出部204は、TOFセンサ100からのセンシングデータに対して、上述した方法により間接反射光(環境光)をキャンセルする処理を行うことで、被写体の直接反射光情報(直接反射光画像700)を算出する。さらに、直接反射光算出部204は、算出した直接反射光情報を、後述する被写体検出部206、被写体正規化部210等に出力することができる。
被写体検出部206は、上述した距離情報算出部202によって得られた距離情報に基づく距離画像600や、直接反射光算出部204によって得られた直接反射光情報に基づく直接反射光画像700における、被写体の占める領域(被写体領域)を検出する。被写体検出部206は、距離画像600から被写体として人物の顔の領域を検出する場合には、例えば、所定の輪郭線(顔の輪郭)に基づき、顔の領域を検出することができる。また、被写体検出部206は、直接反射光画像700から人物の顔の領域を検出する場合には、例えば、所定の特徴点(目、鼻、口)の位置関係等に基づき、顔の領域を検出することができる。なお、被写体がTOFセンサ100に近い場合には、被写体検出部206によって検出される被写体領域は広くなり、被写体がTOFセンサ100から遠い場合には、検出される被写体領域は狭くなる。さらに、被写体検出部206は、検出した被写体領域の結果を、後述する3次元変換部208、被写体正規化部210等に出力することができる。
3次元変換部208は、距離情報算出部202によって算出された2.5次元情報である距離情報を実空間の3次元空間の座標値に変換する。詳細には、3次元変換部208は、TOFセンサ100の受光部104の画素の位置情報を実空間の座標値に変換することにより、上記距離情報を3次元空間の座標(X、Y、Z)に変換し、3次元座標情報(3次元情報)を生成する。このように変換することにより、距離情報を、空間上の実距離として扱うことが出来る。さらに、3次元変換部208は、上記3次元座標情報を、後述する被写体正規化部210等に出力することができる。なお、3次元変換部208は、処理ユニット200に設けられていなくてもよい。
被写体正規化部210は、距離画像600、直接反射光画像700、及び3次元情報(図示省略)における被写体領域の正規化を行う。被写体正規化部210において行われる正規化の例としては、方向の正規化、スケールの正規化、明度の正規化等を挙げることができる。そして、被写体正規化部210は、正規化後の被写体領域を、後述する被写体識別部212や記憶部300に出力する。なお、先に説明したように、3次元情報は、三次元座標情報(X、Y、Zの座標情報)の集合体のことをいう。
被写体識別部212は、後述す識別段階の際に、記憶部300に格納されている画像を読み出し、読み出した画像と、被写体正規化部210から取得した距離画像600、直接反射光画像700及び3次元情報(図示省略)の被写体領域とを照合する。詳細には、被写体識別部212は、各画像の特徴点やそれらの位置関係等を比較することにより、照合を行うことができる。この際、被写体識別部212は、距離画像600の被写体領域であれば、記憶部300から距離画像600を読み出して照合するといったように、同種の画像を用いて照合を行う。そして、被写体識別部212は、上記読み出した画像と、上記被写体領域とが一致する場合には、一致する旨の情報とともに、上記読み出した画像に紐づけられて格納されていた情報(名称等)を表示部400等に出力する。また、被写体識別部212は、上記読み出した画像と上記被写体領域とが一致しない場合には、一致しない旨の情報を表示部400等に出力する。なお、被写体識別部212は、上述のような照合により得られた識別結果を、表示部400以外の機能部(図示省略)に出力してもよく、当該機能部は、識別結果に基づき、更に他の機能部を制御してもよい。
以上、本実施形態に係る識別システム10に含まれる各装置の詳細について説明した。続いて、本実施形態に係る識別方法について説明する。本実施形態に係る識別方法は、記憶部300に画像を格納するまでの登録段階と、記憶部300に格納された画像を用いて識別を行う識別段階との、主に2つの段階に分けることができる。なお、以下に説明する識別方法においては、処理ユニット200に、上述した3次元変換部208が含まれていなくてもよい。
まずは、本実施形態に係る識別方法の登録段階について、図10を参照して説明する。図10は、本実施形態に係る識別方法の登録段階を説明するフローチャート図である。図10に示すように、本実施形態に係る登録段階には、ステップS101からステップS113までの複数のステップが含まれている。以下に、本実施形態に係る登録段階に含まれる各ステップの詳細を説明する。
まずは、TOFセンサ100は、被写体(例えば、人物の顔)に対して光を照射し、反射された光を検知して得たセンシングデータを処理ユニット200へ出力する(TOFセンサ100によるセンシング)。
処理ユニット200は、上述したように、センシングデータに対して環境光(間接反射光)をキャンセルする処理を行う。
処理ユニット200は、上述のステップS103で環境光がキャンセルされたセンシングデータに基づき、被写体の距離情報(距離画像600)を算出する。
処理ユニット200は、上述のステップS103で環境光がキャンセルされたセンシングデータに基づき、被写体の直接反射光情報(直接反射光画像700)を算出する。
処理ユニット200は、上述のステップS105で得られた距離画像600から被写体領域(図示省略)を検出する。さらに、処理ユニット200は、上述のステップS107で得られた直接反射光画像700から被写体領域710を検出する。なお、図10においては、距離画像600からの被写体領域の検出については、その図示を省略している。
処理ユニット200は、上述のステップS109で得られた距離画像600及び直接反射光画像700の被写体領域710に対して、正規化を行い、正規化後の距離画像の被写体領域612と、正規化後の直接反射光画像の被写体領域712とを取得する。なお、ここで行う正規化は、方向の正規化、スケールの正規化、明度の正規化等であることができ、特に限定されるものではない。
処理ユニット200は、上述のステップS111で得られた正規化された被写体領域612及び被写体領域712を記憶部300に格納する。
次に、本実施形態に係る識別方法の識別段階について、図11を参照して説明する。図11は、本実施形態に係る識別方法の識別段階を説明するフローチャート図である。図11に示すように、本実施形態に係る識別段階には、ステップS201からステップS213までの複数のステップが含まれている。なお、図11のステップS201からステップS211までは、上述した図10のステップS101からステップS111までと同じであるため、ここでは、これらステップの詳細な説明を省略し、ステップS213のみ説明する。また、図11においても、距離画像600からの被写体領域の検出については、その図示を省略している。
処理ユニット200は、記憶部300に格納されている画像(例えば、上述の登録段階で格納された人物の顔画像)を読み出し、読み出した画像と、正規化された被写体領域612及び被写体領域712(ここでは、人物の顔画像)とを照合する。そして、処理ユニット200は、上記読み出した画像と、上記被写体領域612、712とが一致する場合には、一致する旨の情報とともに、上記読み出した画像に紐づけられて格納されていた情報(人物の名称等)をユーザに向けて出力する。また、処理ユニット200は、上記読み出した画像と上記被写体領域とが一致しない場合には、一致しない旨の情報をユーザに向けて出力する。
上述の第1の実施形態においては、2.5次元情報である距離画像600を用いていたが、以下に説明する第2の実施形態においては、2.5次元情報を3次元情報(3次元座標情報)に変換して用いる点で、上述の第1の実施形態と異なる。以下に、このような第2の実施形態の詳細を説明する。
本実施形態に係る識別方法について説明する。本実施形態に係る識別方法も、第1の実施形態と同様に、記憶部300に画像を格納するまでの登録段階と、記憶部300に格納された画像を用いて識別を行う識別段階との、主に2つの段階に分けることができる。
まずは、本実施形態に係る識別方法の登録段階について、図12を参照して説明する。図12は、本実施形態に係る識別方法の登録段階を説明するフローチャート図である。図12に示すように、本実施形態に係る登録段階には、ステップS301からステップS315までの複数のステップが含まれている。なお、図12のステップS301からステップS309までは、上述した図10の第1の実施形態のステップS101からステップS109までと同じであるため、ここでは、これらステップの詳細な説明を省略する。また、図12においても、距離画像600からの被写体領域の検出については、その図示を省略している。
処理ユニット200は、ステップS309で得られた距離画像600の被写体領域(図示省略)を3次元座標情報に変換して、被写体の3次元情報の被写体領域620を取得する。
処理ユニット200は、図10の第1の実施形態のステップS111と同様に、上述のステップS311で得られた3次元情報の被写体領域620、及び、ステップS309で得られた直接反射光画像700の被写体領域710に対して、正規化を行う。そして、処理ユニット200は、正規化後の3次元情報の被写体領域622と、正規化後の直接反射光画像の被写体領域712とを取得する。
処理ユニット200は、上述のステップS313で得られた正規化された被写体領域622及び被写体領域712を記憶部300に格納する。
次に、本実施形態に係る識別方法の識別段階について、図13を参照して説明する。図13は、本実施形態に係る識別方法の識別段階を説明するフローチャート図である。図13に示すように、本実施形態に係る登録段階には、ステップS401からステップS415までの複数のステップが含まれている。なお、図13のステップS401からステップS413までは、上述した図12のステップS301からステップS313までと同じであり、図13のステップS415は、図11の第1の実施形態のステップS213と同様であるため、ここでは、これらステップの詳細な説明を省略する。また、図13においても、距離画像600からの被写体領域の検出については、その図示を省略している。
上述した第1及び第2の実施形態においては、識別システム10は、複数の装置によって構成されているとして説明したが、上述の識別システム10のうちの少なくとも一部が、積層イメージセンサによって構築されていてもよい。そこで、TOFセンサ100と処理ユニット200とを積層イメージセンサによって構成した第3の実施形態を図14及び図15を参照して説明する。なお、図14は、本実施形態に係る積層イメージセンサ20の構成例を示す図であり、図15は、本実施形態に係る積層イメージセンサ20の詳細構成例を示すブロック図である。
上述したように、第1から第3の実施形態に係る識別システム10(積層イメージセンサ20)は、デスクトップ型PC(Personal Computer)、ノート型PC、ラップトップ型PC、スマートフォン、携帯電話、カメラ、ウェアブルデバイス等の電子機器に搭載することができる。
CPU950は、例えば、CPU等の演算回路で構成される、1または2以上のプロセッサや、各種処理回路等で構成され、電子機器900全体を制御する制御部として機能する。具体的には、CPU950は、例えば、距離情報算出部202、直接反射光算出部204、被写体検出部206、3次元変換部208、被写体正規化部210、被写体識別部212等の機能を果たす。
ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する。
記録媒体956は、例えば、本実施形態に係る識別方法で用いる画像等様々なデータを記憶する。ここで、記録媒体956としては、例えば、フラッシュメモリ等の不揮発性メモリ等が挙げられる。また、記録媒体956は、電子機器900から着脱可能であってもよい。
入出力インターフェース958は、例えば、操作入力デバイス960や、表示デバイス962等を接続する。入出力インターフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
通信インターフェース968は、電子機器900の外部装置と、無線または有線で通信を行うための通信部として機能する。ここで、通信インターフェース968としては、例えば、通信アンテナ及びRF(Radio frequency)回路(無線通信)や、IEEE802.15.1ポート及び送受信回路(無線通信)、IEEE802.11ポート及び送受信回路(無線通信)、あるいはLAN(Local Area Network)端子及び送受信回路(有線通信)等が挙げられる。
TOFセンサ980は、上述したTOFセンサ100として機能する。
以上のように、本開示の各実施形態においては、環境光の変動に左右されやすい2次元画像を用いるのではなく、環境光の変動に左右されにくい、距離画像600、3次元情報(図示省略)及び直接反射光画像700を用いて識別を行う。従って、これら実施形態によれば、環境光が変動する場合であっても、安定して、高い精度で識別を行うことができる。
上述した実施形態に係る識別方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。
(1)
対象物に対して光を照射し、前記光を検知するTOFセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、
前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、
検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部と、
を備える、識別装置。
(2)
前記TOFセンサは、互いに差動する第1及び第2の受光部を有しており、
前記直接反射光情報算出部は、前記第1及び第2の受光部で検知した前記光の強度に基づいて、前記直接反射光情報を算出する、
上記(1)に記載の識別装置。
(3)
前記TOFセンサは、1つの受光部と、前記受光部が受光した光を互いに異なるタイミングで読み出す第1及び第2の読み出し部とを有しており、
前記直接反射光情報算出部は、前記第1及び第2の読み出し部で読み出した前記光の強度に基づいて、前記直接反射光情報を算出する、
上記(1)に記載の識別装置。
(4)
前記直接反射光情報算出部は、
前記第1の受光部で検知した光の強度の積分値と前記第2の受光部で検知した光の強度の積分値との差分に基づいて、又は、
前記第1の読み出し部で読み出した光の強度の積分値と前記第2の読み出し部で読み出した光の強度の積分値との差分に基づいて、
前記直接反射光情報を算出する、
上記(2)又は(3)に記載の識別装置。
(5)
前記検出された対象物の直接反射光情報を正規化する正規化処理部をさらに備える、上記(1)〜(4)のいずれか1つに記載の識別装置。
(6)
前記正規化処理部は、
前記TOFセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
前記対象物の大きさを所定の大きさに合わせるように、又は、
前記対象物の向きを所定の向きに合わせるように、又は、
前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
前記検出された対象物の直接反射光情報を正規化する、
上記(5)に記載の識別装置。
(7)
前記対象物の直接反射光情報を格納する記憶部をさらに備え、
前記対象物識別部は、予め格納された前記対象物の直接反射光情報と、新たに算出した前記対象物の直接反射光情報とを照合することにより、前記対象物の識別を行う、
上記(1)〜(6)のいずれか1つに記載の識別装置。
(8)
前記記憶部は、正規化された前記対象物の直接反射光情報を格納する、上記(7)に記載の識別装置。
(9)
前記センシングデータに基づいて、前記対象物の距離情報を算出する距離情報算出部をさらに備え、
前記対象物識別部は、前記距離情報に基づいて前記対象物の識別を行う、
上記(1)〜(8)のいずれか1つに記載の識別装置。
(10)
対象物に対して光を照射し、前記光を検知するTOFセンサによるセンシングデータに基づいて、前記対象物の距離情報を算出する距離情報算出部と、
前記距離情報に基づいて前記対象物を検出する対象物検出部と、
検出された前記対象物の前記距離情報に基づいて、当該対象物の識別を行う対象物識別部と、
を備える、識別装置。
(11)
前記距離情報算出部は、照射した前記光と検知した前記光との位相差に基づいて、前記距離情報を算出する、上記(10)に記載の識別装置。
(12)
前記TOFセンサは、互いに差動する第1及び第2の受光部を有しており、
前記距離情報算出部は、前記第1及び第2の受光部で検知した前記光の強度に基づいて、前記距離情報を算出する、
上記(10)又は(11)に記載の識別装置。
(13)
前記TOFセンサは、1つの受光部と、前記受光部が受光した光を互いに異なるタイミングで読み出す第1及び第2の読み出し部とを有しており、
前記距離情報算出部は、前記第1及び第2の読み出し部で読み出した前記光の強度に基づいて、前記距離情報を算出する、
上記(10)又は(11)に記載の識別装置。
(14)
前記距離情報算出部は、
前記第1の受光部で検知した光の強度の積分値と前記第2の受光部で検知した光の強度の積分値との差分に基づいて、又は、
前記第1の読み出し部で読み出した光の強度の積分値と前記第2の読み出し部で読み出した光の強度の積分値との差分に基づいて、
前記距離情報を算出する、
上記(12)又は(13)に記載の識別装置。
(15)
前記検出された対象物の距離情報を正規化する正規化処理部をさらに備え、
前記正規化処理部は、
前記TOFセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
前記対象物の大きさを所定の大きさに合わせるように、又は、
前記対象物の向きを所定の向きに合わせるように、又は、
前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
前記検出された対象物の距離情報を正規化する、
上記(10)〜(14)のいずれか1つに記載の識別装置。
(16)
前記対象物の距離情報を格納する記憶部をさらに備え、
前記対象物識別部は、予め格納された前記対象物の距離情報と、新たに算出した前記対象物の距離情報とを照合することにより、前記対象物の識別を行う、
上記(10)〜(15)のいずれか1つに記載の識別装置。
(17)
前記距離情報に基づいて、前記対象物の3次元座標情報を算出する3次元座標算出部をさらに備え、
前記対象物識別部は、前記3次元座標情報に基づいて前記対象物の識別を行う、
上記(10)に記載の識別装置。
(18)
前記3次元座標情報を正規化する正規化処理部をさらに備え、
前記正規化処理部は、
前記TOFセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
前記対象物の大きさを所定の大きさに合わせるように、又は、
前記対象物の向きを所定の向きに合わせるように、又は、
前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
前記3次元座標情報を正規化する、
上記(17)に記載の識別装置。
(19)
前記対象物の3次元座標情報を格納する記憶部をさらに備え、
前記対象物識別部は、予め格納された前記対象物の3次元座標情報と、新たに算出した前記対象物の3次元座標情報とを照合することにより、前記対象物の識別を行う、
上記(17)又は(18)に記載の識別装置。
(20)
前記TOFセンサをさらに備える、上記(1)〜(19)のいずれか1つに記載の識別装置。
(21)
前記TOFセンサとして機能する画素領域と、
前記対象物検出部及び前記対象物識別部として機能する信号処理回路領域とは、
互いに積層されて設けられる、
上記(20)に記載の識別装置。
(22)
対象物に対して光を照射し、前記光を検知するTOFセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、
前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、
検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部と、
を有する、識別装置を搭載する、電子機器。
20、20a 積層イメージセンサ
100、980 TOFセンサ
102 照射部
104、104a、104b 受光部
120 画素領域
200 処理ユニット
202 距離情報算出部
204 直接反射光算出部
206 被写体検出部
208 3次元変換部
210 被写体正規化部
212 被写体識別部
220 信号処理回路領域
300 記憶部
320 メモリ領域
400 表示部
502、502a 登録用顔画像
504、504b、504c、504d 照合用顔画像
600 距離画像
602、602a 登録用距離画像
604、604b、604c、604d 照合用距離画像
700 直接反射光画像
702、702a 登録用直接反射光画像
704、704b、704c、704d 照合用直接反射光画像
612、620、622、710、712 被写体領域
800a、800b 領域
900 電子機器
950 CPU
952 ROM
954 RAM
956 記録媒体
958 入出力インターフェース
960 操作入力デバイス
962 表示デバイス
968 通信インターフェース
970 バス
Claims (20)
- 対象物に対して光を照射し、前記光を検知するTOFセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、
前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、
検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部と、
を備える、識別装置。 - 前記TOFセンサは、互いに差動する第1及び第2の受光部を有しており、
前記直接反射光情報算出部は、前記第1及び第2の受光部で検知した前記光の強度に基づいて、前記直接反射光情報を算出する、
請求項1に記載の識別装置。 - 前記TOFセンサは、1つの受光部と、前記受光部が受光した光を互いに異なるタイミングで読み出す第1及び第2の読み出し部とを有しており、
前記直接反射光情報算出部は、前記第1及び第2の読み出し部で読み出した前記光の強度に基づいて、前記直接反射光情報を算出する、
請求項1に記載の識別装置。 - 前記直接反射光情報算出部は、前記第1の受光部で検知した光の強度の積分値と前記第2の受光部で検知した光の強度の積分値との差分に基づいて、前記直接反射光情報を算出する、
請求項2に記載の識別装置。 - 前記検出された対象物の直接反射光情報を正規化する正規化処理部をさらに備える、請求項1に記載の識別装置。
- 前記正規化処理部は、
前記TOFセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
前記対象物の大きさを所定の大きさに合わせるように、又は、
前記対象物の向きを所定の向きに合わせるように、又は、
前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
前記検出された対象物の直接反射光情報を正規化する、
請求項5に記載の識別装置。 - 前記対象物の直接反射光情報を格納する記憶部をさらに備え、
前記対象物識別部は、予め格納された前記対象物の直接反射光情報と、新たに算出した前記対象物の直接反射光情報とを照合することにより、前記対象物の識別を行う、
請求項1に記載の識別装置。 - 前記記憶部は、正規化された前記対象物の直接反射光情報を格納する、請求項7に記載の識別装置。
- 前記センシングデータに基づいて、前記対象物の距離情報を算出する距離情報算出部をさらに備え、
前記対象物識別部は、前記距離情報に基づいて前記対象物の識別を行う、
請求項1に記載の識別装置。 - 対象物に対して光を照射し、前記光を検知するTOFセンサによるセンシングデータに基づいて、前記対象物の距離情報を算出する距離情報算出部と、
前記距離情報に基づいて前記対象物を検出する対象物検出部と、
検出された前記対象物の前記距離情報に基づいて、当該対象物の識別を行う対象物識別部と、
を備える、識別装置。 - 前記TOFセンサは、互いに差動する第1及び第2の受光部を有しており、
前記距離情報算出部は、前記第1及び第2の受光部で検知した前記光の強度に基づいて、前記距離情報を算出する、
請求項10に記載の識別装置。 - 前記TOFセンサは、1つの受光部と、前記受光部が受光した光を互いに異なるタイミングで読み出す第1及び第2の読み出し部とを有しており、
前記距離情報算出部は、前記第1及び第2の読み出し部で読み出した前記光の強度に基づいて、前記距離情報を算出する、
請求項10に記載の識別装置。 - 前記距離情報算出部は、前記第1の受光部で検知した光の強度の積分値と前記第2の受光部で検知した光の強度の積分値との差分に基づいて、前記距離情報を算出する、
請求項11に記載の識別装置。 - 前記検出された対象物の距離情報を正規化する正規化処理部をさらに備え、
前記正規化処理部は、
前記TOFセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
前記対象物の大きさを所定の大きさに合わせるように、又は、
前記対象物の向きを所定の向きに合わせるように、又は、
前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
前記検出された対象物の距離情報を正規化する、
請求項10に記載の識別装置。 - 前記対象物の距離情報を格納する記憶部をさらに備え、
前記対象物識別部は、予め格納された前記対象物の距離情報と、新たに算出した前記対象物の距離情報とを照合することにより、前記対象物の識別を行う、
請求項10に記載の識別装置。 - 前記距離情報に基づいて、前記対象物の3次元座標情報を算出する3次元座標算出部をさらに備え、
前記対象物識別部は、前記3次元座標情報に基づいて前記対象物の識別を行う、
請求項10に記載の識別装置。 - 前記3次元座標情報を正規化する正規化処理部をさらに備え、
前記正規化処理部は、
前記TOFセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
前記対象物の大きさを所定の大きさに合わせるように、又は、
前記対象物の向きを所定の向きに合わせるように、又は、
前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
前記3次元座標情報を正規化する、
請求項16に記載の識別装置。 - 前記TOFセンサをさらに備える、請求項1に記載の識別装置。
- 前記TOFセンサとして機能する画素領域と、
前記対象物検出部及び前記対象物識別部として機能する信号処理回路領域とは、
互いに積層されて設けられる、
請求項18に記載の識別装置。 - 対象物に対して光を照射し、前記光を検知するTOFセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、
前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、
検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部と、
を有する、識別装置を搭載する、電子機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017201524 | 2017-10-18 | ||
JP2017201524 | 2017-10-18 | ||
PCT/JP2018/030715 WO2019077863A1 (ja) | 2017-10-18 | 2018-08-21 | 識別装置及び電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019077863A1 true JPWO2019077863A1 (ja) | 2020-09-17 |
JP7228509B2 JP7228509B2 (ja) | 2023-02-24 |
Family
ID=66174016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019518314A Active JP7228509B2 (ja) | 2017-10-18 | 2018-08-21 | 識別装置及び電子機器 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11341771B2 (ja) |
EP (1) | EP3570250A4 (ja) |
JP (1) | JP7228509B2 (ja) |
KR (1) | KR102673019B1 (ja) |
CN (1) | CN109684907A (ja) |
DE (1) | DE112018005610T5 (ja) |
WO (1) | WO2019077863A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI748460B (zh) | 2019-06-21 | 2021-12-01 | 大陸商廣州印芯半導體技術有限公司 | 飛時測距裝置及飛時測距方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006155422A (ja) * | 2004-11-30 | 2006-06-15 | Matsushita Electric Works Ltd | 画像処理装置 |
JP2007004321A (ja) * | 2005-06-22 | 2007-01-11 | Mitsubishi Electric Corp | 画像処理装置及び入退室管理システム |
JP2013078433A (ja) * | 2011-10-03 | 2013-05-02 | Panasonic Corp | 監視装置、プログラム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4380391A (en) * | 1980-09-30 | 1983-04-19 | The United States Of America As Represented By The Secretary Of The Army | Short pulse CO2 laser for ranging and target identification |
KR20040042501A (ko) * | 2002-11-14 | 2004-05-20 | 엘지전자 주식회사 | 형판 정합 기반 얼굴 검출방법 |
WO2006046519A1 (ja) | 2004-10-25 | 2006-05-04 | Matsushita Electric Works, Ltd. | 空間情報検出装置 |
JP4696778B2 (ja) * | 2005-08-23 | 2011-06-08 | コニカミノルタホールディングス株式会社 | 認証装置、認証方法及びプログラム |
JP5175562B2 (ja) * | 2008-01-28 | 2013-04-03 | シャープ株式会社 | 人物位置検出装置および空気調和機 |
WO2010016047A1 (en) * | 2008-08-03 | 2010-02-11 | Microsoft International Holdings B.V. | Rolling camera system |
KR101565969B1 (ko) * | 2009-09-01 | 2015-11-05 | 삼성전자주식회사 | 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치 |
TWI540312B (zh) * | 2010-06-15 | 2016-07-01 | 原相科技股份有限公司 | 可提高測量精確度、省電及/或能提高移動偵測效率的時差測距系統及其方法 |
KR101666020B1 (ko) * | 2010-06-25 | 2016-10-25 | 삼성전자주식회사 | 깊이 영상 생성 장치 및 그 방법 |
US8648702B2 (en) * | 2010-08-20 | 2014-02-11 | Denso International America, Inc. | Combined time-of-flight and image sensor systems |
US9025019B2 (en) * | 2010-10-18 | 2015-05-05 | Rockwell Automation Technologies, Inc. | Time of flight (TOF) sensors as replacement for standard photoelectric sensors |
KR101706093B1 (ko) * | 2010-11-30 | 2017-02-14 | 삼성전자주식회사 | 3차원 좌표 추출 시스템 및 그 방법 |
US8406470B2 (en) * | 2011-04-19 | 2013-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Object detection in depth images |
JP2013156109A (ja) * | 2012-01-30 | 2013-08-15 | Hitachi Ltd | 距離計測装置 |
JP6709173B2 (ja) * | 2014-05-23 | 2020-06-10 | シグニファイ ホールディング ビー ヴィSignify Holding B.V. | 物体検出システム及び方法 |
DE102014211071A1 (de) * | 2014-06-11 | 2015-12-17 | Robert Bosch Gmbh | Fahrzeug-Lidar-System |
US9823352B2 (en) * | 2014-10-31 | 2017-11-21 | Rockwell Automation Safety Ag | Absolute distance measurement for time-of-flight sensors |
FR3037690B1 (fr) * | 2015-06-17 | 2018-05-18 | Morpho | Procede de detection de fraude par determination de la brdf d'un objet |
JP2017027492A (ja) | 2015-07-27 | 2017-02-02 | パナソニックIpマネジメント株式会社 | 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法 |
WO2017057061A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
CN106996922B (zh) * | 2016-01-25 | 2019-08-23 | 杭州海康威视数字技术股份有限公司 | 一种目标物体红外反射率测量方法及装置 |
CN105868733A (zh) * | 2016-04-21 | 2016-08-17 | 腾讯科技(深圳)有限公司 | 一种人脸活体验证方法及装置 |
CN106156757B (zh) * | 2016-08-02 | 2019-08-09 | 中国银联股份有限公司 | 结合活体检测技术的人脸识别方法及人脸识别系统 |
US20180278910A1 (en) * | 2017-03-22 | 2018-09-27 | Microsoft Technology Licensing, Llc | Correction of multipath interference in time of flight camera depth imaging measurements |
KR102387571B1 (ko) * | 2017-03-27 | 2022-04-18 | 삼성전자주식회사 | 라이브니스 검사 방법 및 장치 |
US11085996B2 (en) * | 2018-03-23 | 2021-08-10 | Samsung Electronics Co., Ltd. | Beam scanning apparatus and optical apparatus including the same |
-
2018
- 2018-08-21 EP EP18869326.1A patent/EP3570250A4/en active Pending
- 2018-08-21 US US16/343,578 patent/US11341771B2/en active Active
- 2018-08-21 JP JP2019518314A patent/JP7228509B2/ja active Active
- 2018-08-21 WO PCT/JP2018/030715 patent/WO2019077863A1/ja unknown
- 2018-08-21 KR KR1020197011137A patent/KR102673019B1/ko active IP Right Grant
- 2018-08-21 DE DE112018005610.4T patent/DE112018005610T5/de active Pending
- 2018-08-31 CN CN201811010955.XA patent/CN109684907A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006155422A (ja) * | 2004-11-30 | 2006-06-15 | Matsushita Electric Works Ltd | 画像処理装置 |
JP2007004321A (ja) * | 2005-06-22 | 2007-01-11 | Mitsubishi Electric Corp | 画像処理装置及び入退室管理システム |
JP2013078433A (ja) * | 2011-10-03 | 2013-05-02 | Panasonic Corp | 監視装置、プログラム |
Non-Patent Citations (1)
Title |
---|
塚田章ほか: "距離画像カメラを用いた2D3D顔認証システム", 月刊自動認識, vol. 第27巻 第6号, JPN6022031077, 10 May 2014 (2014-05-10), JP, pages 30 - 35, ISSN: 0004834045 * |
Also Published As
Publication number | Publication date |
---|---|
WO2019077863A1 (ja) | 2019-04-25 |
KR20200074050A (ko) | 2020-06-24 |
US20210334517A1 (en) | 2021-10-28 |
KR102673019B1 (ko) | 2024-06-05 |
EP3570250A4 (en) | 2020-08-05 |
JP7228509B2 (ja) | 2023-02-24 |
EP3570250A1 (en) | 2019-11-20 |
CN109684907A (zh) | 2019-04-26 |
DE112018005610T5 (de) | 2020-07-02 |
US11341771B2 (en) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11263432B2 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
US10339362B2 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
US10521643B2 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
CN106446873B (zh) | 人脸检测方法及装置 | |
KR102561723B1 (ko) | 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법 | |
JP5747916B2 (ja) | 生体認証装置および生体認証プログラム | |
WO2020108225A1 (zh) | 指纹采集方法及相关装置 | |
CN113574537B (zh) | 使用复合手部图像的生物特征识别 | |
WO2016010721A1 (en) | Multispectral eye analysis for identity authentication | |
US10491880B2 (en) | Method for identifying objects, in particular three-dimensional objects | |
US11080511B2 (en) | Contactless rolled fingerprints | |
JP7269897B2 (ja) | データ登録装置、生体認証装置、およびデータ登録プログラム | |
JP7228509B2 (ja) | 識別装置及び電子機器 | |
JP5051671B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP5056662B2 (ja) | 皮下パターン取得装置、皮下パターン取得方法および構造物テンプレート | |
US11341224B2 (en) | Handheld multi-sensor biometric imaging device and processing pipeline | |
US10776625B2 (en) | Method for detecting objects, in particular three-dimensional objects | |
TW202305656A (zh) | 光學指紋識別方法及利用其之觸控顯示器和資訊處理裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7228509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |