JP7269711B2 - 生体認証システム、生体認証方法およびプログラム - Google Patents

生体認証システム、生体認証方法およびプログラム Download PDF

Info

Publication number
JP7269711B2
JP7269711B2 JP2018188420A JP2018188420A JP7269711B2 JP 7269711 B2 JP7269711 B2 JP 7269711B2 JP 2018188420 A JP2018188420 A JP 2018188420A JP 2018188420 A JP2018188420 A JP 2018188420A JP 7269711 B2 JP7269711 B2 JP 7269711B2
Authority
JP
Japan
Prior art keywords
biometric
image
feature
authentication
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018188420A
Other languages
English (en)
Other versions
JP2020057275A5 (ja
JP2020057275A (ja
Inventor
渓一郎 中崎
直人 三浦
晃朗 長坂
友輔 松田
洋 野々村
孝文 宮武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018188420A priority Critical patent/JP7269711B2/ja
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to PCT/JP2019/033352 priority patent/WO2020071008A1/ja
Priority to KR1020217005979A priority patent/KR102538405B1/ko
Priority to US17/275,250 priority patent/US12067095B2/en
Priority to EP19869851.6A priority patent/EP3862968A4/en
Priority to CN201980057116.XA priority patent/CN112639871B/zh
Publication of JP2020057275A publication Critical patent/JP2020057275A/ja
Publication of JP2020057275A5 publication Critical patent/JP2020057275A5/ja
Application granted granted Critical
Publication of JP7269711B2 publication Critical patent/JP7269711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21342—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis using statistical independence, i.e. minimising mutual information or maximising non-gaussianity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1388—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、生体を用いて個人を認証する技術に関する。
従来、入退室コントロール、勤怠打刻及びコンピュータへのログインなどのアクセス管理のための個人認証手段として、ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）及びＰＷ（Ｐａｓｓｗｏｒｄ）などの記憶認証、並びに、物理錠又はＩＣカードなどの物体認証などが広く利用されてきた。しかし、これらの認証方式は忘失や紛失のリスクがある。これに対し、近年ではこれらのリスクのない生体認証が利用されている。生体認証では、生体情報を読み取るためのセンサを搭載した装置を利用し、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、銀行ＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）、部屋の入口、又はロッカーなどのあらゆるアクセス管理に利用されている。特に最近では、スマートフォンやタブレットなどの携帯端末の普及に伴い、携帯端末上で生体認証を実施する例が増加している。携帯端末といったあらゆる人々が利用する生体認証では、メガネやマスクの着用や肌荒れ、血行不良などの生体変動によって認証が困難となる場合がある。そこで、マスクの着用時は顔認証ではなく指紋認証を利用する、肌荒れが発生している時は顔認証を利用するなど、重畳していない複数の生体を利用して認証できることが求められている。このとき、利用する生体に応じて必要となるセンサを増やすことなく、例えば可視光のカメラなどの単一の汎用的なセンサで複数の組織の生体特徴を同時に抽出できることが望ましい。また、認証装置を利用する度に生じる生体の位置や姿勢の変動による認証精度低下を抑制すること、または位置や姿勢の変動自体を抑制することが重要である。
特許文献１では、指を撮影して得られた画像から重畳する複数の特徴量を抽出し、生体の位置や姿勢の変動にロバストに認証する技術が開示されている。
特許文献２では、指を最適な提示位置・姿勢を誘導することでその変動を抑制しつつ、撮影画像から特徴量を抽出し認証する技術が開示されている。
特開２０１６－９６９８７号公報 特開２０１７－９１１８６号公報
使い勝手が良く高精度な生体認証装置を実現するためには、センサの取得データから重畳していない複数の生体特徴を抽出し認証に利用できることが重要となる。
特許文献１では、光源を指に照明し、その反射光を撮影して得られた画像から、指の内部に重畳する複数の生体特徴に関する色素濃度の分布の情報から特徴量を抽出することで高精度に認証する技術が提案されている。しかしながら、光源及びセンサの制約によって撮影画像から複数の生体特徴を抽出することが困難になるという課題に関する記述がない。
特許文献２では、指を最適な提示位置に誘導しつつ、波長の異なる複数の光源を指に照明し、その反射光を撮影して得られた画像から、特徴量を抽出し認証する技術が提案されている。しかしながら、指だけでなく顔などの重畳していない複数の生体を、互いに遮蔽することなく最適な提示位置に誘導して撮影する方法に関する記述がない。
そこで、本発明は重畳していない複数の生体を互いに遮蔽することなく最適な提示位置に誘導して撮影し、撮影画像から複数の生体特徴量を獲得し照合することで、安定かつ高精度に認証できる生体認証装置を実現する技術を提供することを目的とする。
上記の課題の少なくとも一つを解決するため、本発明の一態様は、生体を撮影した画像を取得する画像入力部と、各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を記憶する記憶部と、前記画像入力部によって取得された画像の前記生体領域を処理して前記登録情報に基づく生体認証を行う認証処理部と、を有する生体認証システムであって、前記各人物の前記生体領域から得られる複数の生体特徴は、重畳する複数の生体組織から抽出され、互いにパターンの相関の低い複数の生体特徴であり、前記互いにパターンの相関の低い複数の生体特徴は、第１の生体特徴及び第２の生体特徴を含み、前記認証処理部は、複数の人物の画像の各々から特徴量抽出モデルを用いて前記複数の生体特徴を抽出し、複数の人物の画像から抽出された前記複数の生体特徴間の類似度に基づいて、前記特徴量抽出モデルの損失値を計算し、異なる人物の生体特徴の類似度が高いほど損失値が高くなり、かつ、同一人物の生体特徴の類似度が高いほど損失値が低くなるように、前記特徴量抽出モデルのパラメータを学習し、前記特徴量抽出モデルを用いて、前記画像入力部が取得した画像の生体領域から得られる第１の生体特徴と前記登録情報の第１の生体特徴との類似度が最大となるように、前記画像入力部が取得した画像と前記登録情報の画像との位置合わせを行い、その位置で、前記画像入力部が取得した画像の生体領域から得られる第２の生体特徴と前記登録情報の第２の生体特徴との類似度を計算することによって、前記生体認証を行うことを特徴とする。
本発明の一態様によれば、生体認証システムにおいて、一度の撮影で得られた画像から互いに相関の低い複数の生体特徴量を抽出し照合することで、安定かつ高精度に認証することができる。
上記した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
第１の実施の形態の指と顔を用いた生体認証システムの全体の構成を示すブロック図である。 第１の実施の形態の認証処理部の機能ブロック図である。 第１の実施の形態の生体認証システムを用いた認証の様子の一例を説明する図である。 第１の実施の形態の生体認証システムによる登録時の処理を示すフローチャートである。 第１の実施の形態の生体認証システムによる認証時の処理を示すフローチャートである。 第１の実施の形態の生体認証システムによって表示されるガイド画像の例を説明する図である。 第１の実施の形態の生体認証システムによって表示されるガイド画像の例を説明する図である。 本実施の形態の生体認証システムのディスプレイを光源として利用した生体領域の検出の処理の様子を示す図である。 本実施の形態の生体認証システムのディスプレイを光源として利用した生体領域の検出の処理を示すフローチャートである。 本実施の形態の生体認証システムによる登録データとの類似度の算出の詳細な処理の例を示すフローチャートである。 本実施の形態の生体認証システムによる類似度の算出の詳細な処理の例を示すフローチャートである。 本実施の形態の生体認証システムによる相関の低い複数の特徴量を抽出する処理を示すフローチャートである。 本実施の形態の生体認証システムによる相関の低い複数の特徴量を抽出する処理を示すフローチャートである。 本実施の形態の生体認証システムによる特徴量の抽出の処理の例を説明する図である。
以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。また、各図において共通の構成については同一の参照番号が付されている。
図１Ａは、第１の実施の形態の指と顔を用いた生体認証システムの全体の構成を示すブロック図である。
尚、本発明はシステムとして構成されるだけでなく、図１Ａに示した構成要素のすべてまたは一部を筐体に搭載した装置として構成されてもよいことは言うまでも無い。その場合、本発明の装置は、認証処理を含めた個人認証装置であっても良い。あるいは、認証処理は装置外部で行い、本発明の装置は生体画像の取得に特化した生体画像取得装置であってもよい。
第１の実施の形態の生体認証システムは、画像入力部１、認証処理部２、記憶部３、表示部４及び入力部５を含む。
画像入力部１は、例えばカラーカメラであり、被認証者の生体から生体特徴を含む画像を取得し、取得した画像を認証処理部２へ入力する。以下の説明において、画像入力部１を、カメラ１と記載する場合がある。
認証処理部２は画像入力部１から入力された画像に対して画像処理し、認証処理を実行する。なお、認証処理部２の画像処理機能に画像入力部１を含めて画像処理部を構成する場合がある。いずれにしても認証処理部２は画像処理機能を備える。
図１Ａは、さらに、認証処理部２の構成図を示す。認証処理部２は、中央処理部（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６、メモリ７及び種々のインターフェイス８（ＩＦ：Ｉｎｔｅｒｆａｃｅ）を含む。
ＣＰＵ６は、メモリ７に記憶されているプログラムを実行することによって各種処理を行う。後述するように、本実施形態の生体認証システムが認証部９又は登録部１０（図１Ｂ）の機能によって実行する処理は、実際にはＣＰＵ６がメモリ７に記憶されているプログラムに従って実行する。メモリ７は、ＣＰＵ６によって実行されるプログラムを記憶する。また、メモリ７は画像入力部１から入力された画像を一時的に記憶する。
インターフェイス８は、認証処理部２と外部の装置とを接続する。具体的には、インターフェイス８は、画像入力部１、記憶部３、表示部４及び入力部５などと接続される。
図１Ｂは、第１の実施の形態の認証処理部２の機能ブロック図である。
認証処理部２は、認証部９と、登録部１０とを備える。認証部９は、画像入力部１から入力された入力データと、記憶部３に登録されている登録データとを照合し、利用者の認証を行う。登録部１０は、画像入力部１によって取得された画像から登録データを作成し、記憶部３内に格納する。例えば後述する図３の処理を登録部１０が、図４の処理を認証部９が、必要に応じて画像入力部１、記憶部３、表示部４及び入力部５を制御して実行してもよい。
記憶部３は、利用者の登録データを予め記憶している。登録データは、利用者を照合するための情報であり、例えば、指静脈パターンの画像等である。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管（指静脈）を暗い影のパターンとして撮像した画像である。
表示部４は、例えば、ディスプレイ装置であり、認証処理部２から受信した情報を表示する出力装置である。以下の説明において、表示部４をディスプレイ４と記載する場合がある。入力部５は、例えば、キーボードであり、利用者から入力された情報を認証処理部２に送信する。
図２は、第１の実施の形態の生体認証システムを用いた認証の様子の一例を説明する図である。
具体的には、図２には、生体認証システムを搭載したタブレットＰＣを用いた認証の様子を示す。本実施例では、タブレットＰＣのディスプレイなどの表示部４に表示されるガイド画像及びメッセージに基づき、被認証者（すなわち利用者）は顔１１及び手１２などの生体を提示する。その様子をタブレットＰＣのインカメラなどの画像入力部１で撮影し、認証処理を実施する。
図３は、第１の実施の形態の生体認証システムによる登録時の処理を示すフローチャートである。
まず、システムは、適切な品質の画像を取得するため、フォーカス、ホワイトバランス、露出及びゲインなどの、画像入力部１を制御するためのパラメータ（カメラ制御パラメータ）を設定する（Ｓ１００）。本パラメータにはあらかじめ決められた固定値を利用してもよいし、以前の撮影時に最適であった値を利用してもよいし、動画の撮影を行っている場合であれば以前のフレームでの取得画像およびカメラ制御パラメータから何らかのルールによって決められた値を利用してもよい。
次に、システムは、カメラで指及び顔などの生体を撮影し、画像を取得する（Ｓ１０１）。次に、システムは、被認証者が適切な位置及び姿勢で生体を提示するため、提示の見本となる生体の形状をしたガイド画像、及び、生体の提示方法を教示するガイドメッセージを生成する（Ｓ１０２）。ガイド画像は、生体の外形の一部又は全部を示すものでもよい。あるいは、提示された生体を検出し、その生体の外形又はそれを包含する矩形などの図形などをガイド画像として表示してもよい。
次に、システムは、ガイド画像及びメッセージをディスプレイに表示する（Ｓ１０３）。例えば図２は、生体として顔及び手指を提示するために、頭部及び手指の輪郭を示す点線のガイド画像と、「枠に合わせてください」というメッセージとを表示する例を示している。このとき、ガイド画像をカメラで取得した生体の画像に重畳して表示することで、被認証者は自身の生体の提示方法と適切な提示方法との違いを認識でき、より適切に生体を提示することができるようになる。
次に、認証処理部２は、撮影によって得られた画像及びカメラ制御パラメータなどから撮影の品質値を算出する（Ｓ１０４）。この品質値とは、例えば、フォーカス、露出の制御値及び取得画像の輝度値等の少なくともいずれかから何らかのルールによって算出される値である。例えば、取得画像におけるガイド画像と同一位置の領域及び取得画像から生体を検出した領域などの輝度のコントラストをフォーカスの品質値としてもよい。また、例えば、以前のフレームでの露出制御値と今回のフレームでの露出制御値との変動量を露出の品質値としてもよい。また、例えば、取得画像におけるガイド画像と同一位置の領域又は取得画像から生体を検出した領域などの輝度の平均値を取得画像の輝度に関する品質値としてもよい。
次に、認証処理部２は、上記の品質値とそれらに対応する適正値との差などから品質値の適正度を評価する（Ｓ１０５）。品質値が適正でない場合、カメラ制御パラメータの設定（Ｓ１００）に移行する。品質値が適正である場合、認証処理部２は、取得画像から生体領域の検出を実施する（Ｓ１０６）。
生体領域の検出は、例えば、取得画像の各画素を生体領域かその他の領域に分類するＳｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ手法を適用し、検出した生体領域から顔及び手の指などの特徴量抽出を適用する領域を抽出することによって実行されてもよい。あるいは、取得画像から生体領域を包含する矩形領域を抽出するＯｂｊｅｃｔ Ｌｏｃａｌｉｚａｔｉｏｎ手法を適用してもよい。また、その他の手法によって生体領域を抽出してもよい。
次に、認証処理部２は、抽出した生体領域から例えば検出した指の長さ、幅、角度などの姿勢情報を計算し、それらの適正値との差を品質値として算出する（Ｓ１０７）。次に、認証処理部２は、算出された姿勢の品質値が適正かどうかを判定する（Ｓ１０８）。姿勢の品質値が適正でない場合、カメラ制御パラメータの設定（Ｓ１００）に移行する。姿勢の品質値が適正である場合、認証処理部２は、生体姿勢の正規化を実施する（Ｓ１０９）。
姿勢の正規化とは、例えば指の長さが一定となるように検出した指領域の一部を切り取りによって短縮又は補間によって延長したり、指の幅が一定となるように検出した指領域を拡大又は縮小したり、指の角度が一定となるように検出した指領域を回転させたりすることである。
次に、認証処理部２は、姿勢を正規化した生体領域から照合のための特徴量を抽出する（Ｓ１１０）。特徴量抽出は、例えば、指紋又は顔の特徴点、又は静脈の線パターンなどを生体領域から抽出することによって実行されてもよい。あるいは、深層畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの機械学習手法によって生体領域からの特徴量抽出を自動的に設計してもよい。
次に、認証処理部２は、抽出した特徴量が適正かどうかを判定する（Ｓ１１１）。例えば、認証処理部２は、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ又はＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などの機械学習手法を用い、抽出した特徴量が本物の生体から抽出されたものか写真又は印刷物などの偽物の生体から抽出されたものかどうかを判定してもよい。
次に、認証処理部２は、抽出した特徴量を登録候補として一時的に保持する（Ｓ１１２）。次に、認証処理部２は、保存済みの登録候補の数を事前に設定した数と比較する（Ｓ１１３）。保存済みの登録候補の数が事前に設定した数を下回っている場合、保存済みの登録候補の数が十分ではないため、カメラ制御のパラメータの設定（Ｓ１００）に移行する。保存済みの登録候補の数が事前に設定した数を満たしている場合、保存済みの登録候補の数が十分であるため、認証処理部２は、登録候補となる特徴量同士で類似度を算出する（Ｓ１１４）。
次に、認証処理部２は、算出した類似度を事前に設定した閾値と比較する（Ｓ１１５）。算出した類似度が事前に設定した閾値を下回っている場合、認証処理部２は、登録を拒否すると判定してメモリ７に保存された登録候補データを削除し、カメラ制御パラメータの設定（Ｓ１００）に移行する。算出した類似度が閾値を上回っている場合、認証処理部２は、登録を許可すると判定して（Ｓ１１６）、登録候補データをメモリ７に保存する。以上の処理によって生体情報の登録を完了する。
図４は、第１の実施の形態の生体認証システムによる認証時の処理を示すフローチャートである。
図４に示した認証時の処理フローのうち、カメラ制御パラメータの設定（Ｓ１００）、撮影ガイドの生成（Ｓ１０１）、カメラ画像の取得（Ｓ１０２）、撮影ガイド・カメラ画像の表示（Ｓ１０３）、撮影品質の算出（Ｓ１０４）、撮影品質の適正度判定（Ｓ１０５）、生体領域の検出（Ｓ１０６）、姿勢品質の算出（Ｓ１０７）、姿勢品質の適正度判定（Ｓ１０８）、生体姿勢の正規化（Ｓ１０９）、特徴量の抽出（Ｓ１１０）、及び特徴量の適正度判定（Ｓ１１１）は登録時の処理フローと同一である。
特徴量の適正度判定（Ｓ１１１）ののち、認証処理部２は、Ｓ１１０で抽出した特徴量と事前に登録してある生体特徴量データとの類似度を算出する（Ｓ１１７）。次に、認証処理部２は、算出した類似度を事前に設定した閾値と比較する（Ｓ１１８）。算出した類似度が事前に設定した閾値を上回っている場合、認証を許可すると判定して（Ｓ１１９）、認証処理を終了する。算出した類似度が閾値を上回っていない場合、認証を拒否すると判定してカメラ制御パラメータの設定（Ｓ１００）に移行する。
登録および認証処理のうち、ガイド画像・メッセージ等の表示（Ｓ１０３）では、図２に示すように顔と手の形を模した画像及び顔と手の提示を促すメッセージなどの撮影ガイドと、撮影されたカメラ画像とを同時にディスプレイに表示する。ディスプレイが横長である場合、顔と手のガイド画像をそれぞれ横に並べて表示することで、被認証者に無理なく顔と手を互いに並べて提示するように誘導することができる。これによって、カメラ画像に対し顔と手が互いに遮蔽することなく映すことができ、単一のカメラから顔と手の画像を取得することが可能となる。
図５Ａ及び図５Ｂは、第１の実施の形態の生体認証システムによって表示されるガイド画像の例を説明する図である。
例えば、提示された手から１本以上の指の領域を検出し認証に利用する場合、図５Ａのように手を開いた状態の輪郭形状のガイド画像１３を表示し、それに従って提示された手を撮影することで、隣接する指同士の接触による指の指紋、静脈及び表面しわなどの生体組織の歪みを回避し、生体姿勢の正規化（Ｓ１０９）及び特徴量の抽出（Ｓ１１０）などにおける誤差を低減することができる。
また、図５Ｂに示すように、手の輪郭のうち指の股部分の輪郭を除いたガイド画像１３を表示することで、ガイド画像１３の手よりも指が長い又は短い被認証者でもガイド画像１３に自らの手を合わせやすくなり、利便性の向上につながる。
登録および認証処理のうち、生体領域の検出（Ｓ１０６）においてディスプレイ４を光源とみなすと、カメラ１は光源から照射された光が顔１１及び手１２などの生体表面を反射した反射光を撮影しているといえる。ここで、一般にディスプレイ４から前景である顔１１及び手１２までの距離よりも、ディスプレイ４から背景である部屋の壁までの距離のほうが遠い。光の強度が距離の２乗に比例して減衰することを考慮すると、ディスプレイ４を光源として照射される光が背景で反射してカメラ１で取得できる光量は、前景で反射して取得できる光量よりも十分小さい。
よって、ディスプレイ４で表示する映像の輝度又は色を種々に変更しながらカメラ１で撮影して得られる画像では、前景である生体領域でのみ輝度又は色が変化し、背景であるその他の領域では輝度又は色が大きく変化しない。この違いを利用し、生体領域を抽出することができる。
図６は、本実施の形態の生体認証システムのディスプレイ４を光源として利用した生体領域の検出（Ｓ１０６）の処理の様子を示す図である。また、図７は、その処理を示すフローチャートである。
本処理では、システムは、カメラ画像から生体領域ではない領域である背景を分離するためＮ回の撮影を実施し（Ｓ１０６０１）、手ぶれ及び被写体の移動を吸収するため取得画像間の位置補正（Ｓ１０６０５）を行い、位置補正後の取得画像間の各画素の色差を算出する（Ｓ１０６０６）。
Ｎ回の撮影（Ｓ１０６０１）では、システムは、照明となるディスプレイ４に表示する画像を生成（Ｓ１０６０２）および表示し（Ｓ１０６０３）、カメラ画像を取得する（Ｓ１０６０４）。ここで、Ｎ＝２の例を示すと、システムは、例えばディスプレイ４を用いて照明となる画像を表示しつつ、ディスプレイ４と同じ面に配置されているカラーカメラ１を用いて被写体を撮影し、得られる２枚の画像を参照して被写体を前景及び背景に分離してもよい。
カラーカメラ１は、例えばそれぞれ青（Ｂ）、緑（Ｇ）、赤（Ｒ）に感度を持つ三種類の受光素子を有し、これらが画素ごとに格子状に配置されている。各受光素子の分光感度は、例えば青で４８０ｎｍ付近、緑で５５０ｎｍ付近、赤で６２０ｎｍ付近に感度のピークを持つ。カラーカメラを用いた撮影によって、異なる三つの波長にそれぞれ感度のピークを持つ光の空間的な輝度分布を得ることができる。
また、ディスプレイ４は、例えば光源となるバックライト、輝度を制御する偏向フィルタ、及び、色を制御するカラーフィルタから構成される。カラーフィルタはそれぞれ青（Ｂ）、緑（Ｇ）、赤（Ｒ）を透過する三種類のフィルタを有し、これらが画素ごとに格子状に配置されており、輝度は０から２５５までの２５６階調で制御可能とする。
精度良く前景・背景を分離する（Ｓ１０６０７）ためには、色差の算出（Ｓ１０６０６）にて前景と背景とで色差が最大化するように照明用画像を生成する（Ｓ１０６０２）必要がある。簡単のため上記カラーカメラの青（Ｂ）と赤（Ｒ）の受光素子の感度の積がほぼ０となり（すなわち一方の素子が感度を持つ波長においてもう一方の素子が感度を持たない）、カラーカメラのＲＧＢの各受光素子の分光感度がゼロとなる波長と、ディスプレイのＲＧＢのカラーフィルタの透過率がゼロとなる波長とがほぼ一致すると仮定する。１回目の撮影で得られた画像１４のＢＧＲ各チャネルを（Ｂ，Ｇ，Ｒ）＝（ｇＢ１、ｇＧ１，ｇＲ１）とし、２回目の撮影で得られた画像１５のＢＧＲ各チャネルを（Ｂ，Ｇ，Ｒ）＝（ｇＢ２，ｇＧ２，ｇＲ２）とする。色差画像１６はｅ＝（ｇＢ１－ｇＢ２）＋（ｇＲ２－ｇＲ１）という数式で表される。
色差画像１６の各画素はディスプレイに近接していない背景の画素ではほぼ０に等しくなるが、ディスプレイに近接している生体領域などの前景の画素では照明として表示するディスプレイの画像の輝度又は色によって変化する。このとき、１回目の撮影ではディスプレイに（Ｂ，Ｇ，Ｒ）＝（２５５，０，０）の画像を表示し、２回目の撮影ではディスプレイに（Ｂ，Ｇ，Ｒ）＝（０，０，２５５）の画像を表示することで、上記色差画像１６の前景における輝度が最大化する（１回目と２回目の撮影は順不同）。
この例では認証処理部２が青（Ｂ）及び赤（Ｒ）の輝度を変更するようにディスプレイ（すなわち表示部４）を制御し、これによって生体に照射される光の青（Ｂ）及び赤（Ｒ）の強度が変更されるが、これは一例であり、少なくとも一つの色の強度が変更されるように光源を制御すればよい。また、ディスプレイ以外の光源を用いてもよい。
上記は、ディスプレイ表示を照明とした前景・背景分離において、色差画像１６における前景と背景の輝度差が最大化する計算方法の一例である。上記のカラーカメラ１の受光素子及びディスプレイ４のカラーフィルタに関する制約を満たさない場合、並びに、異なる色差画像１６の算出方法を適用した場合には、それらに応じて前景と背景の輝度差が最大となるディスプレイ表示や色差画像の算出方法を適用すればよい。
特徴量の抽出（Ｓ１１０）では、認証処理部２は、例えば指の静脈、表皮若しくは真皮などのパターン、又は、指紋の隆線の端点若しくは分岐点などを特徴量として抽出してもよい。例えば顔の眉と目の端点及び鼻と口の周囲の輪郭などを特徴量として抽出してもよい。あるいは、ＣＮＮなどの機械学習手法を活用し特徴量を撮影画像から自動的に設計・抽出してもよい。
例として、生体領域のうち、指からＣＮＮを用いて特徴量を抽出することを考える。指表面の指紋及び指内部の静脈などは万人不同の特徴として一般的に知られており、血縁関係のある者同士でも異なるパターンを有する。一般に指の画像から特徴量を抽出するＣＮＮの訓練のために現実的に用意できる指の画像データのバリエーションに対し、実世界に存在する指のバリエーションは圧倒的に大きい。よって、畳み込み処理およびプーリング処理を交互に繰り返し、画像中の全ての画素を結合する全結合処理を出力層にかけて実施する通常のＣＮＮでは、過学習を引き起こしやすい。
過学習を回避する方法の一つに、全結合処理を用いないＣＮＮの一種である全層畳み込みニューラルネットワーク（ＦＣＮ：Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）を利用する方法がある。ＦＣＮでは、入力画像の画像構造を出力画像まで保持し、少量のデータによる学習でも過学習を引き起こしにくい。ＦＣＮで抽出した特徴量を用い、位置・姿勢変動にロバストに認証する方法としては、ＦＣＮにおける各層の解像度を、層を経るごとに徐々に下げていき、低周波な特徴量を抽出する方法が知られている。
しかしながら、上記の方法では本来個人識別に利用可能な高周波な特徴量を抽出することができない。低周波な特徴量と高周波な特徴量とを同時に抽出する方法として、ＦＣＮにおける各層の解像度を、層を経るごとに徐々に下げていった上で、それぞれの層を後段で結合する方法が知られている。この場合、高周波な特徴量を用いつつ位置ずれの影響を受けづらい登録データとの類似度算出方法が必要となる。
図８は、本実施の形態の生体認証システムによる登録データとの類似度の算出（Ｓ１１７）の詳細な処理の例を示すフローチャートである。
具体的には、図８は、登録データとの類似度の算出（Ｓ１１７）において、高周波な特徴量を用いつつ位置ずれの影響を低減する処理フローを示す。まず、認証処理部２は、登録画像をＭ個の小領域に分割する（Ｓ１１７１）。指の画像から抽出した特徴量の場合、例えば第一関節及び第二関節をそれぞれ境とした３領域に分割してもよい。
次に、認証処理部２は、認証画像と登録画像の小領域の類似度を算出する（Ｓ１１７２）。類似度の尺度としては、例えばマンハッタン距離又はユークリッド距離などを用いてもよい。類似度の算出では、認証処理部２は、認証画像上の一定の領域を走査しながら登録画像の各小領域との類似度を算出し、走査した領域の中で最も高い類似度を採用する。
次に、認証処理部２は、算出したＭ個の類似度を融合し、最終的な類似度を求める（Ｓ１１７３）。融合の方法としては、例えばＭ個の類似度の平均値を用いる方法を採用してもよい。上記のように、登録画像の小領域ごとに類似度が最も高くなる位置の類似度を採用することで、高周波な成分を含む特徴量同士であっても位置ずれの影響を低減させることが可能になる。
さらに、登録データとの類似度の算出（Ｓ１１７）において、登録データと認証データが異なる人物由来である（他人照合）場合を考える。このとき、算出される類似度は低くなることが望ましい。登録データが複数の画像でありそれぞれのパターンの相関が低い、例えば重畳する生体組織である場合、一方の特徴量で類似度が最大となる位置におけるもう一方の特徴量での類似度を認証に利用することで、他人照合での登録データとの類似度が最大となる類似度を認証に利用することを回避できる。
登録データと認証データが同一人物由来であれば、上記二つの特徴量における類似度が最大となる位置はほぼ一致するが、同データが異なる人物由来であれば上記二つの特徴量における類似度が最大となる位置は一致しないことが多いためである。上記の処理をフローにまとめると、図９で示されるものとなる。
図９は、本実施の形態の生体認証システムによる類似度の算出の詳細な処理の例を示すフローチャートである。
認証画像と登録画像の小領域の類似度の算出（Ｓ１１７２）では、認証処理部２は、まず、特徴量毎の類似度を算出する（Ｓ１１７２１）。例えば、まず特徴量ｓ１で登録画像との類似度を算出し（Ｓ１１７２２）、次に特徴量ｓ１で類似度最大となる位置にて特徴量ｓ２で類似度を算出する（Ｓ１１７２３）ことで、各特徴量の類似度が算出される。このとき特徴量ｓ１及び特徴量ｓ２は、後述する処理（図１０等参照）によって抽出されたＳ個の特徴量に含まれる、互いに異なる特徴量である。この方法は、例えば指における表皮、真皮又は静脈パターンなどに適用可能である。
しかしながら、撮影時の照明変動又は機器の制約などによって上記のパターンが特徴量として安定に抽出することが困難な場合がある。例えば、指に近赤外光を照射しその透過光を撮影する場合、得られる透過光の画像において静脈のパターンは鮮明であるものの、皮膚表面のテクスチャ、つまり表皮及び真皮のパターンは非常に不鮮明である。また、例えば、指に可視光を照射しその反射光を撮影する場合、得られる反射光の画像において表皮及び真皮のパターンは鮮明であるものの、静脈のパターンは非常に不鮮明である。よって、重畳する複数の生体組織のパターンを同時に抽出することが困難な場合にも、複数の相関の低いパターンを抽出することが必要である。
図１０及び図１１は、本実施の形態の生体認証システムによる相関の低い複数の特徴量を抽出する処理を示すフローチャートである。
具体的には、図１０及び図１１は、登録データとの類似度の算出（Ｓ１１７）において、位置ずれの影響を低減し、かつ他人照合時の類似度を低下させるための、相関の低い複数の特徴量を抽出する処理を示す。本処理は、ＣＮＮなどの機械学習によって生成された特徴量抽出モデル（以下、機械学習モデルと記載）が入力画像から複数の相関の低い特徴量を生成するように、機械学習モデルを最適化する処理（図１０）と、登録および認証時に機械学習モデルを用いて特徴量を抽出する処理（図１１）とに分けられる。
図１０に示す機械学習モデルを最適化する処理では、認証処理部２は、まず最適化処理に用いる複数の画像を読み込み（Ｓ１２０）、続いて生体領域の検出（Ｓ１０６）、生体姿勢の正規化（Ｓ１０９）、Ｓ個の特徴量の抽出（Ｓ１１０）、読み込んだＳ個の画像間の特徴量の類似度の算出（Ｓ１２１）、算出した類似度に基づく機械学習モデルの損失値の算出（Ｓ１２２）、及び、損失値に基づく機械学習モデルのパラメータ更新（Ｓ１２３）を行う。最後に、認証処理部２は、パラメータ更新回数が規定回数を満たしているかを判定し（Ｓ１２４）、満たしている場合は処理を終了し、満たしていない場合は画像の読み込み（Ｓ１２０）に移行する。
上記処理のうち、生体領域の検出（Ｓ１０６）及び生体姿勢の正規化（Ｓ１０９）は図３に示す登録時の処理フロー及び図４に示す認証時の処理フローと同一である。画像読み込み（Ｓ１２０）で読み込む画像は、基本的に生体を撮影して得られた画像であるが、撮影画像から生体領域の検出（Ｓ１０６）および生体姿勢の正規化（Ｓ１０９）を施して得られた生体領域の画像でもよい。このとき、画像読み込み（Ｓ１２０）の後には直接機械学習モデルによる特徴量の抽出（Ｓ１１０）を実施すればよい。
特徴量の抽出（Ｓ１１０）は、後述する図１１に示す処理フローのように実施される。画像間の特徴量の類似度の算出（Ｓ１２１）は、図８及び図９に示す処理フローと同一である。損失値の算出（Ｓ１２２）では、上記の類似度を基に、例えば機械学習モデルとしてＣＮＮを用いる場合はＣｏｎｔｒａｓｔｉｖｅ Ｌｏｓｓ又はＴｒｉｐｌｅｔ Ｌｏｓｓなどの損失値を算出すればよい。モデルパラメータ更新（Ｓ１２３）では、上記の損失値を基に、例えば機械学習モデルとしてＣＮＮを用いる場合は誤差逆伝搬法を適用しＣＮＮの各層のカーネルの値を更新すればよい。
Ｓ１２２では、例えば、異なる人物の生体特徴の類似度が高いほど損失値が高くなり、かつ、同一人物の生体特徴の類似度が高いほど損失値が低くなるように、損失値を計算してもよい。そして、Ｓ１２３では、損失値が小さくなるようにモデルパラメータが更新される。これによって、一つの生体の画像からパターンの相関が低い複数の生体特徴を抽出するための特徴量抽出モデルが学習される。
図１１に示すＳ個の特徴量の抽出（Ｓ１１０）では、機械学習モデルとしてＣＮＮを用いることを想定する。認証処理部２は、まず入力画像から異なる解像度をもつＲ個の画像を生成し（Ｓ１１０１）、続いて生成した各画像に対して畳み込み処理を行い（Ｓ１１０２）、処理後のＲ個の画像を結合する（Ｓ１１０３）。最後に、認証処理部２は、結合した画像に対して畳み込み処理を行い（Ｓ１１０４）、Ｓ個の特徴量の画像を生成する。
異なる解像度の画像生成（Ｓ１１０１）では、認証処理部２は、例えば入力画像を縮小又は拡大してもよいし、畳み込み処理によって入力画像から低解像度な画像を生成してもよい。Ｒ個の画像の対する畳み込み（Ｓ１１０２）では、認証処理部２は、畳み込み処理は一度ではなく複数回行ってもよいし、各畳み込み処理の後に画像の輝度を正規化する処理を実施してもよい。Ｒ個の画像の結合（Ｓ１１０３）では、認証処理部２は、それぞれの画像データをチャネル方向に結合し画像データを生成する。
最後の畳み込み（Ｓ１１０４）では、認証処理部２は、結合した画像データのチャネル数をＳ個に削減するように畳み込み処理を行う。上記処理によって、濃度画像で表されるＳ個の特徴量を獲得できる。
なお、図１０及び図１１の処理は、認証処理部２の登録部１０又は認証部９によって実行されてもよいが、図示しない他の機能（例えばモデル最適化部）によって実行されてもよい。その場合、モデル最適化部の処理は、登録部１０及び認証部９の処理と同様に、ＣＰＵ６がメモリ７に格納されたプログラムに従って実行する。モデル最適化部の処理は、図３及び図４に示した登録及び認証の処理の前に実行される。
図１２は、本実施の形態の生体認証システムによる特徴量の抽出の処理の例を説明する図である。
具体的には、図１２は、上記の機械学習モデルの最適化処理（Ｓ１２０）およびそのモデルを用いた特徴量の抽出（Ｓ１１０）のＳ＝２の場合の処理例を示す。入力の指画像１７に対し、特徴抽出画像１８及び特徴抽出画像１９が得られ、これらＳ個（図１２の例では２個）の特徴量はパターンの相関が低くなる。
これは、登録データと認証データの特徴量が異なる人物由来であるとき、つまり他人照合時の類似度を小さくするように最適化した結果、特徴量間のパターンの相関が低下し、一つの特徴量における類似度が最大となる画像の位置が別の特徴量における類似度の最大となる画像の位置と異なるためである。
一方、登録データと認証データが同一人物由来であるとき、つまり本人照合時は、特徴量間のパターンの相関が低くとも、それらの特徴量は同一の入力画像から生成されているため、それぞれの特徴量で登録データと類似度が最大となる照合位置とはほぼ一致する。
以上のように、本発明の一態様の生体認証システム（例えば図１参照）は、生体を撮影した画像を取得する画像入力部（例えば画像入力部１）と、各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を記憶する記憶部（例えば記憶部３）と、画像入力部によって取得された画像の生体領域を処理して登録情報に基づく生体認証を行う認証処理部（例えば認証処理部２）と、を有する。ここで、各人物の生体領域から得られる複数の生体特徴は、互いにパターンの相関の低い複数の生体特徴である。認証処理部は、前記画像を処理して得られた互いにパターンの相関の低い複数の生体特徴を組合せて前記生体認証を行う。
上記の互いにパターンの相関の低い複数の生体特徴は、例えば図２に示す方法で取得された顔と手の指の生体特徴であってもよいし、図１０及び図１１に示す方法で取得されたＳ個の特徴量であってもよい。
これによって、一度に撮影した画像から、互いに相関の低い複数の生体特徴を抽出することができる。このような複数の生体特徴を照合することによって、安定的かつ高度な認証が可能になる。
ここで、画像入力部が撮影する生体は、指を含んでもよい。
これによって、生体認証の利便性が向上する。
また、複数の生体特徴は、第１の生体特徴及び第２の生体特徴を含み、認証処理部は、画像入力部が取得した画像の生体領域から得られる第１の生体特徴と登録情報の第１の生体特徴との類似度に基づいて、画像入力部が取得した画像の生体領域から得られる第２の生体特徴と登録情報の第２の生体特徴との類似度を計算してもよい。
例えば、図１０及び図１１に示す方法で取得されたＳ個の特徴量の一つである特徴量ｓ１の類似度が最大となるように、登録情報の画像とカメラが撮影した画像との位置合わせを行い、その位置で、特徴量ｓ１とは別の特徴量ｓ２を照合してもよい。図１０及び図１１によって特徴量ｓ１と特徴量ｓ２の相関が低いことから、他人認証の場合には特徴量ｓ２の類似度が十分に低くなることが期待され、これによって認証の精度が向上する。
また、画像入力部は、同一の生体を複数回撮影し、認証処理部は、複数回の撮影が行われるときに生体に照射される光のうち少なくとも一つの色の強度を変更するように、生体に照射される光を制御し、複数回の撮影によって取得された複数の画像における少なくとも一つの色の強度の変化の大きさに基づいて、画像から前記生体領域を抽出してもよい。これは、例えば図７に示した方法で行うことができる。
これによって、画像入力部が撮影した画像に生体領域とそれ以外の領域が含まれる場合に、容易に生体領域を抽出することができる。
また、生体認証システムは、画像入力部が撮影した画像と、生体の望ましい位置を示すガイドとを表示する表示部（例えば表示部４）をさらに有してもよい。この場合、認証処理部は、表示部が出力する少なくとも一つの色の強度を変更することによって、前記生体に照射される光を制御してもよい。これは、例えば図５に示した方法で行うことができる。
これによって、撮影される生体の姿勢等を揃えることができるため、利用者の利便性が向上するとともに、生体特徴の抽出が確実になる。また、画面自体を光源として利用することによって、システムの導入コストを抑制することができる。
また、上記の複数の生体特徴は、各画像の生体領域の同一の部分から抽出されてもよい。これは、例えば図１０及び図１１に示した方法で行うことができる。
これによって、一度に撮影した画像から複数の生体特徴を抽出することができる。
このとき、認証処理部は、複数の人物の画像の各々から特徴量抽出モデルを用いて複数の生体特徴を抽出し（例えば図１０のＳ１１０及び図１１）、複数の人物の画像から抽出された複数の生体特徴間の類似度に基づいて、特徴量抽出モデルの損失値を計算し（例えば図１０のＳ１２２）、損失値が小さくなるように、特徴量抽出モデルのパラメータを学習してもよい（例えば図１０のＳ１２３）。
これによって、一度に撮影した画像から、互いに相関の低い複数の生体特徴を抽出することができる。
さらに、このとき、認証処理部は、各人物の画像の生体領域から、異なる解像度を持つ複数の画像（例えば図１１に示すＲ個の画像）を生成し、異なる解像度を持つ複数の画像に対する畳み込みを行うことによって複数の画像を生成し、畳み込みによって生成された複数の画像（例えば図１０、図１１に示すＳ個の画像）に特徴量抽出モデルを適用することによって複数の生体特徴を抽出してもよい。
これによって、一度に撮影した画像から、互いに相関の低い複数の生体特徴を抽出することができ、安定的かつ高度な認証が可能になる。
また、複数の生体特徴は、各画像の生体領域の異なる部分から抽出されてもよい。
具体的には、各画像の生体領域の異なる部分は、各画像に含まれる人物の顔の部分及び指の部分であってもよい（例えば図２又は図６参照）。
これによって、一度に撮影した画像から、互いに相関の低い複数の生体特徴を抽出することができ、安定的かつ高度な認証が可能になる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
１ 画像入力部
２ 認証処理部
３ 記憶部
４ 表示部
５ 入力部
６ ＣＰＵ
７ メモリ
８ ＩＦ
９ 認証部
１０ 登録部
１１ 顔
１２ 手指
１３ 装置筐体
１４、１５ 撮影画像
１６ 色差画像
１７ 指画像
１８、１９ 特徴量抽出画像

Claims (7)

  1. 生体を撮影した画像を取得する画像入力部と、
    各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を記憶する記憶部と、
    前記画像入力部によって取得された画像の前記生体領域を処理して前記登録情報に基づく生体認証を行う認証処理部と、を有する生体認証システムであって、
    前記各人物の前記生体領域から得られる複数の生体特徴は、重畳する複数の生体組織から抽出され、互いにパターンの相関の低い複数の生体特徴であり、
    前記互いにパターンの相関の低い複数の生体特徴は、第１の生体特徴及び第２の生体特徴を含み、
    前記認証処理部は、
    複数の人物の画像の各々から特徴量抽出モデルを用いて前記複数の生体特徴を抽出し、
    複数の人物の画像から抽出された前記複数の生体特徴間の類似度に基づいて、前記特徴量抽出モデルの損失値を計算し、
    異なる人物の生体特徴の類似度が高いほど損失値が高くなり、かつ、同一人物の生体特徴の類似度が高いほど損失値が低くなるように、前記特徴量抽出モデルのパラメータを学習し、
    前記特徴量抽出モデルを用いて、前記画像入力部が取得した画像の生体領域から得られる第１の生体特徴と前記登録情報の第１の生体特徴との類似度が最大となるように、前記画像入力部が取得した画像と前記登録情報の画像との位置合わせを行い、その位置で、前記画像入力部が取得した画像の生体領域から得られる第２の生体特徴と前記登録情報の第２の生体特徴との類似度を計算することによって、前記生体認証を行うことを特徴とする生体認証システム。
  2. 請求項１に記載の生体認証システムであって、
    前記画像入力部が撮影する生体は、指を含むことを特徴とする生体認証システム。
  3. 請求項１に記載の生体認証システムであって、
    前記画像入力部は、同一の生体を複数回撮影し、
    前記認証処理部は、
    複数回の撮影が行われるときに前記生体に照射される光のうち少なくとも一つの色の強度を変更するように、前記生体に照射される光を制御し、
    複数回の撮影によって取得された複数の画像における前記少なくとも一つの色の強度の変化の大きさに基づいて、前記画像から前記生体領域を抽出することを特徴とする生体認証システム。
  4. 請求項３に記載の生体認証システムであって、
    前記画像入力部が撮影した画像と、前記生体の望ましい位置を示すガイドとを表示する表示部をさらに有し、
    前記認証処理部は、前記表示部が出力する少なくとも一つの色の強度を変更することによって、前記生体に照射される光を制御することを特徴とする生体認証システム。
  5. 請求項１に記載の生体認証システムであって、
    前記認証処理部は、
    前記各人物の画像の生体領域から、異なる解像度を持つ複数の画像を生成し、
    前記異なる解像度を持つ複数の画像に対する畳み込みを行うことによって複数の画像を生成し、
    前記畳み込みによって生成された複数の画像に前記特徴量抽出モデルを適用することによって前記複数の生体特徴を抽出することを特徴とする生体認証システム。
  6. 画像入力部と、記憶部と、認証処理部と、を有する生体認証システムによる生体認証方法であって、
    前記画像入力部が撮影した生体の画像を取得する第１手順と、
    前記認証処理部が各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を前記記憶部に記憶する第２手順と、
    前記認証処理部が前記画像入力部によって取得された画像の前記生体領域を処理して前記登録情報に基づく生体認証を行う第３手順と、を含み、
    前記各人物の画像の前記生体領域から得られる複数の生体特徴は、重畳する複数の生体組織から抽出され、互いにパターンの相関の低い複数の生体特徴であり、
    前記互いにパターンの相関の低い複数の生体特徴は、第１の生体特徴及び第２の生体特徴を含み、
    前記第３手順において、前記認証処理部は、
    複数の人物の画像の各々から特徴量抽出モデルを用いて前記複数の生体特徴を抽出し、
    複数の人物の画像から抽出された前記複数の生体特徴間の類似度に基づいて、前記特徴量抽出モデルの損失値を計算し、
    異なる人物の生体特徴の類似度が高いほど損失値が高くなり、かつ、同一人物の生体特徴の類似度が高いほど損失値が低くなるように、前記特徴量抽出モデルのパラメータを学習し、
    前記特徴量抽出モデルを用いて、前記画像入力部が取得した画像の生体領域から得られる第１の生体特徴と前記登録情報の第１の生体特徴との類似度が最大となるように、前記画像入力部が取得した画像と前記登録情報の画像との位置合わせを行い、その位置で、前記画像入力部が取得した画像の生体領域から得られる第２の生体特徴と前記登録情報の第２の生体特徴との類似度を計算することによって、前記生体認証を行うことを特徴とする生体認証方法。
  7. 画像入力部と、記憶部と、プロセッサと、を有する生体認証システムを制御するためのプログラムであって、
    前記画像入力部が撮影した生体の画像を取得する第１手順と、
    各人物の画像の生体領域から得られる複数の生体特徴に関する登録情報を前記記憶部に記憶する第２手順と、
    前記画像入力部によって取得された画像の前記生体領域を処理して前記登録情報に基づく生体認証を行う第３手順と、を前記プロセッサに実行させ、
    前記各人物の画像の前記生体領域から得られる複数の生体特徴は、重畳する複数の生体組織から抽出され、互いにパターンの相関の低い複数の生体特徴であり、
    前記互いにパターンの相関の低い複数の生体特徴は、第１の生体特徴及び第２の生体特徴を含み、
    前記第３手順は、
    複数の人物の画像の各々から特徴量抽出モデルを用いて前記複数の生体特徴を抽出する手順と、
    複数の人物の画像から抽出された前記複数の生体特徴間の類似度に基づいて、前記特徴量抽出モデルの損失値を計算する手順と、
    異なる人物の生体特徴の類似度が高いほど損失値が高くなり、かつ、同一人物の生体特徴の類似度が高いほど損失値が低くなるように、前記特徴量抽出モデルのパラメータを学習する手順と、
    前記特徴量抽出モデルを用いて、前記画像入力部が取得した画像の生体領域から得られる第１の生体特徴と前記登録情報の第１の生体特徴との類似度が最大となるように、前記画像入力部が取得した画像と前記登録情報の画像との位置合わせを行い、その位置で、前記画像入力部が取得した画像の生体領域から得られる第２の生体特徴と前記登録情報の第２の生体特徴との類似度を計算することによって、前記生体認証を行う手順と、を含むことを特徴とするプログラム。
JP2018188420A 2018-10-03 2018-10-03 生体認証システム、生体認証方法およびプログラム Active JP7269711B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018188420A JP7269711B2 (ja) 2018-10-03 2018-10-03 生体認証システム、生体認証方法およびプログラム
KR1020217005979A KR102538405B1 (ko) 2018-10-03 2019-08-26 생체 인증 시스템, 생체 인증 방법 및 프로그램
US17/275,250 US12067095B2 (en) 2018-10-03 2019-08-26 Biometric authentication system, biometric authentication method, and storage medium
EP19869851.6A EP3862968A4 (en) 2018-10-03 2019-08-26 BIOMETRIC AUTHENTICATION SYSTEM, BIOMETRIC AUTHENTICATION METHOD AND PROGRAM
PCT/JP2019/033352 WO2020071008A1 (ja) 2018-10-03 2019-08-26 生体認証システム、生体認証方法およびプログラム
CN201980057116.XA CN112639871B (zh) 2018-10-03 2019-08-26 生物体认证系统、生物体认证方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018188420A JP7269711B2 (ja) 2018-10-03 2018-10-03 生体認証システム、生体認証方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2020057275A JP2020057275A (ja) 2020-04-09
JP2020057275A5 JP2020057275A5 (ja) 2021-04-30
JP7269711B2 true JP7269711B2 (ja) 2023-05-09

Family

ID=70055768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018188420A Active JP7269711B2 (ja) 2018-10-03 2018-10-03 生体認証システム、生体認証方法およびプログラム

Country Status (6)

Country Link
US (1) US12067095B2 (ja)
EP (1) EP3862968A4 (ja)
JP (1) JP7269711B2 (ja)
KR (1) KR102538405B1 (ja)
CN (1) CN112639871B (ja)
WO (1) WO2020071008A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227155B2 (en) 2019-01-23 2022-01-18 Alclear, Llc Remote biometric identification and lighting
JP7268726B2 (ja) * 2019-04-26 2023-05-08 日本電気株式会社 認証データ生成装置、認証装置、認証データ生成方法、及び、プログラム
JPWO2021261295A1 (ja) * 2020-06-25 2021-12-30
EP3944107A1 (en) * 2020-07-22 2022-01-26 Nokia Technologies Oy Apparatus, method and computer program for authenticating images
JP7513451B2 (ja) * 2020-07-22 2024-07-09 株式会社日立製作所 生体認証装置および生体認証方法
KR102502631B1 (ko) * 2020-11-16 2023-02-23 고큐바테크놀로지 주식회사 사용자를 인증하기 위한 기법
WO2022176323A1 (ja) * 2021-02-18 2022-08-25 日本電気株式会社 生体認証システム、生体認証方法、及び記録媒体
JP7428675B2 (ja) * 2021-02-24 2024-02-06 株式会社日立製作所 生体認証システム、認証端末、および認証方法
KR102520513B1 (ko) * 2021-11-16 2023-04-11 주식회사 딥이티 사용자 단말을 이용한 안면 인식 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211357A (ja) 2008-03-04 2009-09-17 Fujitsu Ltd バイオメトリクス認証情報登録方法および装置ならびにバイオメトリクス認証方法および装置
JP2013200673A (ja) 2012-03-23 2013-10-03 Fujitsu Ltd 生体情報処理装置、生体情報処理方法、および生体情報処理プログラム
US20150116086A1 (en) 2013-10-30 2015-04-30 Samsung Electronics Co., Ltd. Electronic device and method of providing security using complex biometric information
JP2015185042A (ja) 2014-03-25 2015-10-22 キヤノン株式会社 情報処理装置、認証装置およびそれらの方法
JP2016538656A (ja) 2013-11-30 2016-12-08 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 顔画像認識のための方法とシステム
JP2018087973A (ja) 2016-11-28 2018-06-07 エルジー ディスプレイ カンパニー リミテッド 指紋センサ一体型電界発光表示装置
JP2018106618A (ja) 2016-12-28 2018-07-05 日本放送協会 画像データ分類装置、オブジェクト検出装置及びこれらのプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141506A (ja) * 1993-11-17 1995-06-02 Canon Inc 情報処理装置
KR100974815B1 (ko) 2003-03-20 2010-08-10 주식회사 비즈모델라인 이중 생체 인증 시스템
US8189096B2 (en) * 2005-06-16 2012-05-29 Sensible Vision, Inc. Video light system and method for improving facial recognition using a video camera
JP2007241371A (ja) 2006-03-06 2007-09-20 Konica Minolta Business Technologies Inc 認証システム
JP2007249585A (ja) 2006-03-15 2007-09-27 Omron Corp 認証装置およびその制御方法、認証装置を備えた電子機器、認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP5690556B2 (ja) 2010-11-12 2015-03-25 株式会社 日立産業制御ソリューションズ 個人認証装置
CN102332093B (zh) 2011-09-19 2014-01-15 汉王科技股份有限公司 一种掌纹和人脸融合识别的身份认证方法及装置
KR101446143B1 (ko) 2013-01-07 2014-10-06 한남대학교 산학협력단 Cctv 환경에서의 얼굴 인식 기반 보안 관리 시스템 및 방법
JP6404011B2 (ja) 2014-06-25 2018-10-10 株式会社日立製作所 生体情報を利用する認証システム
JP6320277B2 (ja) 2014-11-20 2018-05-09 株式会社日立製作所 生体認証装置
CN104615993B (zh) 2015-02-12 2016-08-24 张丽琴 一种手指静脉识别与面部静脉识别相结合的认证装置及方法
KR101710478B1 (ko) * 2015-06-23 2017-02-27 주식회사 아이온커뮤니케이션즈 다중 생체 인증을 통한 모바일 전자 문서 시스템
KR20170000748A (ko) 2015-06-24 2017-01-03 삼성전자주식회사 얼굴 인식 방법 및 장치
JP6754619B2 (ja) 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
KR102477190B1 (ko) * 2015-08-10 2022-12-13 삼성전자주식회사 얼굴 인식 방법 및 장치
CN105139546A (zh) 2015-09-08 2015-12-09 昆山古鳌电子机械有限公司 一种具有生物体认证功能的自动交易装置
JP6523925B2 (ja) 2015-11-10 2019-06-05 株式会社日立製作所 生体情報を用いた認証装置及び認証方法
CN105389703A (zh) 2015-11-10 2016-03-09 陈雷 多模式生物识别混合认证支付系统
CN105718874A (zh) * 2016-01-18 2016-06-29 北京天诚盛业科技有限公司 活体检测及认证的方法和装置
TW201946617A (zh) 2017-04-28 2019-12-16 日商日東電工股份有限公司 經皮吸收製劑
KR102288302B1 (ko) * 2017-07-03 2021-08-10 삼성전자주식회사 적외선 영상을 이용한 사용자 인증 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211357A (ja) 2008-03-04 2009-09-17 Fujitsu Ltd バイオメトリクス認証情報登録方法および装置ならびにバイオメトリクス認証方法および装置
JP2013200673A (ja) 2012-03-23 2013-10-03 Fujitsu Ltd 生体情報処理装置、生体情報処理方法、および生体情報処理プログラム
US20150116086A1 (en) 2013-10-30 2015-04-30 Samsung Electronics Co., Ltd. Electronic device and method of providing security using complex biometric information
JP2016538656A (ja) 2013-11-30 2016-12-08 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 顔画像認識のための方法とシステム
JP2015185042A (ja) 2014-03-25 2015-10-22 キヤノン株式会社 情報処理装置、認証装置およびそれらの方法
JP2018087973A (ja) 2016-11-28 2018-06-07 エルジー ディスプレイ カンパニー リミテッド 指紋センサ一体型電界発光表示装置
JP2018106618A (ja) 2016-12-28 2018-07-05 日本放送協会 画像データ分類装置、オブジェクト検出装置及びこれらのプログラム

Also Published As

Publication number Publication date
KR102538405B1 (ko) 2023-06-01
WO2020071008A1 (ja) 2020-04-09
US20220043895A1 (en) 2022-02-10
EP3862968A4 (en) 2022-12-28
CN112639871A (zh) 2021-04-09
US12067095B2 (en) 2024-08-20
CN112639871B (zh) 2024-08-09
JP2020057275A (ja) 2020-04-09
KR20210038644A (ko) 2021-04-07
EP3862968A1 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
JP7269711B2 (ja) 生体認証システム、生体認証方法およびプログラム
US11188734B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP7242528B2 (ja) モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法
JP5292821B2 (ja) 静脈画像取得装置および静脈画像取得方法
WO2016010721A1 (en) Multispectral eye analysis for identity authentication
US10922399B2 (en) Authentication verification using soft biometric traits
WO2016010720A1 (en) Multispectral eye analysis for identity authentication
WO2016010724A1 (en) Multispectral eye analysis for identity authentication
KR20170078729A (ko) 홍채 기반 생체 측정 시스템에서의 도용 검출을 위한 시스템 및 방법
JP2004118627A (ja) 人物認証装置および人物認証方法
EP4343689A1 (en) Body part authentication system and authentication method
JP7002348B2 (ja) 生体認証装置
JP7428675B2 (ja) 生体認証システム、認証端末、および認証方法
CN114067383B (zh) 基于宏观结构和微观结构图像尺寸的被动三维面部成像
US20220414364A1 (en) Passive three-dimensional object authentication based on image sizing
JP2005141678A (ja) 顔画像照合システム及びｉｃカード

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210317

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R150 Certificate of patent or registration of utility model

Ref document number: 7269711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150