JP6165540B2 - 血管画像撮影装置及び端末 - Google Patents

血管画像撮影装置及び端末 Download PDF

Info

Publication number
JP6165540B2
JP6165540B2 JP2013155158A JP2013155158A JP6165540B2 JP 6165540 B2 JP6165540 B2 JP 6165540B2 JP 2013155158 A JP2013155158 A JP 2013155158A JP 2013155158 A JP2013155158 A JP 2013155158A JP 6165540 B2 JP6165540 B2 JP 6165540B2
Authority
JP
Japan
Prior art keywords
image
blood vessel
finger
light
pressure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013155158A
Other languages
English (en)
Other versions
JP2015026228A (ja
Inventor
三浦 直人
直人 三浦
友輔 松田
友輔 松田
春美 清水
春美 清水
長坂 晃朗
晃朗 長坂
宮武 孝文
孝文 宮武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2013155158A priority Critical patent/JP6165540B2/ja
Priority to EP14178529.5A priority patent/EP2848196B1/en
Priority to CN201410363725.7A priority patent/CN104346604B/zh
Publication of JP2015026228A publication Critical patent/JP2015026228A/ja
Application granted granted Critical
Publication of JP6165540B2 publication Critical patent/JP6165540B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6843Monitoring or controlling sensor contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • G06V40/145Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0431Portable apparatus, e.g. comprising a handle or case
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233Special features of optical sensors or probes classified in A61B5/00
    • A61B2562/0238Optical sensor arrangements for performing transmission measurements on body tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247Pressure sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6825Hand
    • A61B5/6826Finger
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Description

本発明は、生体を用いて個人を認証する認証システムに関し、特に、小型で利便性に優れ、高精度な認証技術に関する。
様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用するため優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。
近年では、携帯電話機、ノート型PC(Personal Computer)、スマートフォンやタブレット端末などの携帯端末、ロッカー、金庫、プリンターなどの機器に生体認証装置を搭載し、各機器のセキュリティを確保する事例が増加している。また、生体認証が適用される分野として、入退室管理、勤怠管理、コンピュータへのログインなどに加え、近年では決済などにも生体認証が利用されてきている。特に公共で利用される生体認証装置は、確実な個人認証を実現するだけでなく、装置のスループットを高めることも必要となる。装置のスループットは認証速度やエラーによる再試行回数だけでなく、利用者の操作時間にも影響を受ける。そのため、認証精度が高い上に、誰もが簡単に操作できる認証装置を提供することが重要となる。操作が簡単で利便性の高い認証装置である条件としては、装置の使い方が直感的に分かりやすいことや、生体を提示する際に置き方などの制約が少ないことなどがある。さらには、近年のタブレット型携帯端末の普及やウェアラブル・コンピューティングの潮流を鑑みると、上記のように利便性を担保しつつ、装置の小型化を実現することも重要な要件の一つとなる。
特許文献1には、利用者の利便性を高めるために装置を開放的に設計し、また指の位置がずれないように、指先と指の根元とを載置するための指置き台が設置される構成が開示されている。
特許公開2011−194245
しかしながら、装置の小型化が進むことで、例えば指の位置決めを行う指置き台などの構成が小型化のために除去されるため、装置に提示される指の位置が煩雑となり、撮影箇所の位置ずれが大きくなったり、撮影された画像にぼけやしわ等のノイズが多く写り込んでしまう等、認証に用いる所望の血管画像を撮影できず認証精度が低下してしまうという課題があった。
そこで本発明では、小型で使い勝手が良い状態にて、高精度な個人認証を実行するべく、生体を提示する際の自由度が高く保ちつつ、個人を特徴付ける情報を多分に有する生体特徴を情報を取得する血管画像取得装置を実現することを目的とする。
指が設置される設置領域と、前記設置領域に提示された指に光を照射する光源と、前記指を透過した前記光源からの光を撮影する撮像部と、前記提示領域に設置された指からの圧力を検知する検知部と、前記撮像部によって撮像された画像を処理する画像処理部と、を備え、前記画像処理部は、前記画像に含まれる、前記指からの圧力が所定の圧力値以上となる圧迫領域の位置を取得し、予め記憶された複数の登録画像の夫々に含まれる登録圧迫領域の位置と、前記圧迫領域の位置との類似度を算出し、前記算出された類似度に基づいて、前記複数の登録画像のうち、前記画像と照合を行う登録画像を選択することを特徴とする血管画像取得装置を提供する。
本発明によれば、指を用いた生体認証装置において、指の曲げや屈曲が生じにくく、かつ指の押し付けが発生しても高精度に認証を行うことができ、小型で利便性に優れた認証精度の高い認証装置を提供することができる。
第1の実施の形態の生体認証システムの全体の構成を示す図である。 第1の実施の形態の生体認証システムの装置構成を説明する図である。 第1の実施の形態の認証処理の生体認証システムにおける一実施例を示すフローチャートである。 従来のしわ除去技術の処理概要の一実施例を説明する図である。 生体内部における光の挙動をモデル化した概念図の一例である。 第1の実施の形態の生体認証システムにおける皮膚のしわ除去の処理手順を説明する図である。 第1の実施の形態の生体認証システムにおける2波長の透過画像より血管深さを計測する際の生体内のモデルの一例である。 第1の実施の形態の生体認証システムにおける血管深さを活用することによる識別能力の向上の原理を説明する図である。 第1の実施の形態の生体認証システムにおける圧力の時間的変化と撮影終了のタイミングとの関係性を示した説明図である。 第1の実施の形態の生体認証システムにおける圧力ベクトルの概念と算出方法の説明図である。 第1の実施の形態の生体認証システムにおける計測した圧力と獲得した指静脈パターンとを利用した照合データの一例の説明図である。 第1の実施の形態の生体認証システムにおける計測した圧力と獲得した指静脈パターンとを利用した照合処理の過程と結果を示す説明図である。 第1の実施の形態の生体認証システムにおける指を取り囲むように光源を配置した実施例を示す図である。 第1の実施の形態の生体認証システムにおける指の下方に光源を円形に配置した認証装置の一実施例を示す図である。 第1の実施の形態の生体認証システムにおける指の下方に光源を円形に配置した認証装置において撮影した複数の画像より血管像を再構成する一実施例を示す図である。 第1の実施の形態の生体認証システムを携帯端末に搭載した一実施例を示す図である。 生体認証システムの装置構成を説明する図である。 生体認証システムにおけるタッチパネルに表示された指のガイダンスの一例を示す図である。 生体認証システムにおけるミラーに反射して映し出された利用者の指と顔の撮影状態の一例を示した図である。
図1は、第1の実施の形態の指の血管を用いた生体認証システムの全体の構成を示す図である。尚、本発明はシステムとしてではなく、全てまたは一部の構成を筐体に搭載した装置としての構成であってもよいことは言うまでも無い。装置は、認証処理を含めた個人認証装置としても良いし、認証処理は装置外部で行い、血管画像の取得に特化した血管画像取得装置、血管画像抽出装置としてもよい。また、後述のように端末としての実施形態であってもよい。
実施1の形態の認証システムは、入力装置2、認証処理部10、記憶装置14、表示部15、入力部16、スピーカ17及び画像入力部18を含む。
入力装置2は、その筐体に設置された光源3及び筐体内部に設置された撮像装置9を含む。なお、認証処理部10の画像処理機能の部分、又は、この画像処理機能に画像入力部18を含めて画像処理部という場合がある。いずれにしても、認証処理部10は画像処理機能を備える。
光源3は、例えば、赤外線LED(Light Emitting Diode)などの発光素子であり、入力装置2の上に提示された指1に赤外光を照射する。撮像装置9は、入力装置2に提示された指1の画像を撮影する。
画像入力部18は、入力装置2の撮像装置9で撮影された画像を取得し、取得した画像を認証処理部10へ入力する。
認証処理部10は、中央処理部(CPU:Central Processing Unit)11、メモリ12及び種々のインターフェイス(IF)13を含む。
CPU11は、メモリ12に記憶されているプログラムを実行することによって各種処理を行う。メモリ12は、CPUによって実行されるプログラムを記憶する。また、メモリ12は、画像入力部18から入力された画像を一時的に記憶する。
インターフェイス13は、認証処理部10と外部の装置とを接続する。具体的には、インターフェイス13は、入力装置2、記憶装置14、表示部15、入力部16、スピーカ17及び画像入力部18などと接続する。
記憶装置14は、利用者の登録データを予め記憶している。登録データは、利用者を照合するための情報であり、例えば、指静脈パターンの画像等である。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管(指静脈)を暗い影のパターンとして撮像した画像である。
表示部15は、例えば、液晶ディスプレイであり、認証処理部10から受信した情報を表示する出力装置である。
入力部16は、例えば、キーボードであり、利用者から入力された情報を認証処理部10に送信する。スピーカ17は、認証処理部10から受信した情報を、音響信号(例えば、音声)で発信する出力装置である。
図2は、実施例1の形態の生体認証システムの入力装置の構造を説明する図である。
入力装置2は、指先を載置する設置領域を備える個人認証装置である。設置領域は、例えば本実施例でいえば、アクリル板22や、アクリル板22の周りの枠体等によって形成される、実際に指が設置される領域を指す。ただしこれはあくまでも一例であり、指が筐体と非接触である場合も含めて、撮影された指が筐体表面に提示される領域が形成されていれば良いことはいうまでもない。
光源3−a、3−b、3−cは、指1に対して前方に設置されており、指の前方より指1に対して光を照射する。本実施例では、各光源はそれぞれ異なる波長の光を発光することができるものとする。また装置内部にはカメラ筐体支持部21が形成されており、その上面には指先を提示するアクリル板22が、その下方にはカメラ9が固定されている。また、カメラ筐体支持部21の下には圧力センサ23(23−a、23−b、23−c、23−d)が配置されており、両部材はこの接点で固定され、カメラ筐体支持部21は入力装置2と一体化している。
以下、上記3つの光源が異なる波長の光を照射するものとして説明するが、一つの光源から複数の異なる波長の光を照射させる構成としてもよい。
指1をアクリル板22に押し付けると、カメラ筐体支持部21がそのまま下方に押し込まれ、その圧力が圧力センサ23に掛かり、結果として指1がアクリル板22を押下する圧力を検知できる。
本実施例では4つの圧力センサ23が、アクリル板22等によって形成される指設置領域の中心に対して四方に具備されている。言い換えれば、指先側、指根元側、指の両側方の四方である。ただし、圧力センサ23は4つに限られるものではなく、例えば上記のような四方ではなく八方に配置してもよい。
また、本発明では圧力センサとしているが、圧力を検知できる構成であればセンサに限られるものではなく、圧力検知部であればよいことは言うまでもない。
指がアクリル板22を圧迫する際の、指の先端方向に対して前後左右の圧力のバランスを測定することができる。利用者が指1をアクリル板22の上に提示すると、圧力センサ23は指の押圧の強度に応じて電気的特性が変化し、その変化に応じて圧力信号が出力され、インターフェイス13を介して認証処理部10に入力される。ただし、アクリル板22や装置筐体そのものの自重は事前のキャリブレーションにより圧力データとして考慮されないものとする。
なお、圧力センサ23をアクリル板22とカメラ筐体支持部21との間に設置してもほぼ同等の効果が得られる。しかしながら、圧力センサは圧力によって僅かに変形を伴うことも考えられるため、この場合はカメラ9の光軸とアクリル板22との位置関係が僅かにずれることも想定される。一方、本実施例の構成のように、筐体内の底部に圧力センサを配置することでその影響を緩和できる。さらに、カメラや光源などを制御する基板は装置下部に集約されることが多く、従って圧力センサに電気的配線を行なう際に装置下方に圧力センサが具備されていると実装が容易化できるという効果ももたらす。
図3は本発明の一実施例を示す処理フローである。当処理フローを用いて本実施例を詳述する。
初めに、圧力センサより圧力値Pを読み込む処理を実施する(S301)。また、この段階で画像は撮影されていないため、撮影枚数を示すフレーム数Fをゼロに初期化する処理を併せて実施する。ただし、指の圧力の強さは、例えば4つのすべての圧力センサの圧力値の総和を求めることで得る。このとき、圧力センサの出力する圧力信号が一定の閾値を越えるかどうか、もしくは他の方法により指の有無を判定する(S302)。もし圧力が検知できない、あるいは指が無いと判定された場合は前ステップへ戻る。もし指が検知された場合は次のステップに進んで認証処理を開始する。
ここで、圧力検知以外の指の有無の判定方法は、指が極めて軽く置かれて圧力センサが反応しない場合でも指検知が可能となる方法が好適である。その一例として、事前に光源3−a、3−b、3−cのいずれかを点滅させながら画像を撮影し、点滅の周期に合わせて一定面積以上の輝度変化が観察されたときは指が装置に置かれたものと判断できる。
この方法を圧力検知の方法と併用することで、一定の圧力が掛けられたか、あるいは一定の面積以上の被写体が装置上にかざされた場合に認証が開始されるため、安定して認証処理を開始できる。また、圧力を検知する際に各圧力センサの出力値のバランスを判定し、著しく圧力に偏りがある場合は認証処理を開始せず、その旨を利用者に表示すると共に正しい位置に誘導してもよい。例えば装置手前側の圧力センサ23−cのみに大きな圧力が掛けられた場合は指を前に移動するように指示する。さらには、圧力の総和がある一定以上の場合は強く押し付けすぎであると判定し、利用者に圧力を緩める旨を指示しても良い。これにより、正しい位置かつ適切な圧力の状態に指を誘導することができる。
指が提示されると、撮影フレーム数Fを一つ増やし(S303)、そして指に対する透過光を得るために光源3−cを点灯する(S304)。ただし、光源3−cは他の2つの光源の波長に比べて環境光の光スペクトル成分が最も弱い波長とすることで、後述の指輪郭検出などの処理が外光の影響に頑健になる。光源は指1の背面側に照射され、指内部で散乱し、掌側の皮膚より出力された光がカメラ9に到達する。このとき、指1が明るく光った映像が撮影されるため、指1の大まかな位置を把握することができる。なお、このとき照射する光量値は、平均的な指で平均的な輝度値が得られる値とすることができる。あるいは、IDの入力を前提とした1:1認証を実施する場合は、登録時に最適光量値として決定された値を保存しておき、この光量値を照射しても良く、これにより後述の光量制御処理を行うことなく最適値に近い光量を照射できる利点がある。
次に、この映像に従って指の輪郭を検出する(S305)。透過光の照射により指1は明るく光っているため、画像に映る輪郭を検出できる。このとき、背景が明るく光っている場合もあるため、光源3−cを点灯しない状態で指画像を撮影し、この画像と光源3−cを点灯した画像との差分を取ることで、背景と指領域とをより高精度に分離することが可能となる。これにより外光の影響にロバストな指輪郭検出が可能となる。このように撮影された指画像に対して具体的な輪郭座標の獲得処理を行うが、その方法としては、一般的なエッジ強調フィルタと強調されたエッジの接続に基づく方法や、RANSAC(Random Sample Consensus)やカルマンフィルタなどの統計的手法を組み合わせる手法、グラフカットなどに基づく指領域と背景領域とのセグメンテーションなど、一般的な輪郭検出処理あるいは指領域分類処理を利用できる。なお、指輪郭のうち最も曲率の高い部分を指先位置と見なし、指先位置が観測できない場合は指の位置を置き直す旨のフィードバックを利用者に戻すことができる。指先位置は指の位置補正の基準になる部分であり、指先位置が確実に映し出されるように誘導することで後段の照合処理の位置補正精度が高まり、認証精度の向上に寄与する。
続いて、3波長光源の光量調整を実施する(S306)。上記の処理によって指輪郭を検出し、その内部領域の平均輝度が一定値になるように光量を調整する。平均輝度値が高い場合は光量値を下げ、平均輝度値が低い場合は光量値を上げるようにフィードバック制御を行なうが、どの程度光量値を変化させるかは、事前に光量値と平均輝度値との間の関係を定式化しておき、ターゲットとなる平均輝度値が得られる光量値を照射するように制御すると高速に収束させることが可能となる。ここで、光量調整は光源の波長ごとに独立して光量制御を行う。このとき、波長ごとに画像の明るさは変化するため、改めて光量値をフィードバック制御しても良いが、波長ごとのカメラ感度と設定光量値に対する輝度値との関係が事前に分かっていれば、ある波長の適正な光量値が分かれば他の波長の光量値も推測可能である。このキャリブレーションを実施することで、調整のためのフィードバック制御が不要となり、撮影が高速化される。これを3波長の光源に対して実施し、3枚の透過画像を獲得する。
そして、現在取得した画像に対応する指先の圧力を測定するため、現時点での各圧力センサの値を読み取る(S307)。これにより、どの程度の押し付けがなされた状態で撮影された画像であるかを把握できる。
次に、得られた画像を用いて特徴抽出処理を実施する(S308)。この処理は、指輪郭に基づく指の位置・回転補正処理、しわ除去処理、ぼけ除去処理、血管パターン検出処理、血管深さ検出処理、を含む。位置補正は、指輪郭の指先の位置を一定の画像位置に平行移動し、かつ、指の長手方向を指輪郭より求め、これが画像の左右方向に平行するように回転させる。これにより、指の概ねの位置と平面的な回転が正規化される。続いて、3波長の透過画像を用いて、指表面のしわと体内の血管像との分離処理、光拡散に伴う血管像のぼけ除去処理、そして血管の深さ計測処理を実施する。これにより鮮明かつ豊富な血管構造情報を獲得できる。これらの処理の詳細は後述する。そして、上述の血管像の処理結果より血管パターンを抽出する。抽出方法はガボールフィルタなどの強調処理や輝度断面プロファイルの曲率計算による血管中心検出、統計的な線情報の接続処理など、一般的な特徴抽出処理が利用できる。また血管抽出処理の前処理として、各波長画像での血管の見え方の違いを利用して、画像の差分を求めることで血管パターンを強調しても良い。ただし血管像のぼけ除去処理がこの処理と同等の効果を生じることから、画像の差分計算は任意とできる。
続いて圧力ベクトルP'を獲得する(S309)。圧力ベクトルは圧力センサの具体値と指の輪郭位置との関係等を用いて計算される正規化された圧力情報であり、計算方法の一実施例は後述する。
そして、この圧力ベクトルP'と類似する圧力ベクトルを有する登録データをデータベースより抽出し、入力パターンとの照合を行って入力データとの類似性を判定する(S310)。パターンの類似性判定は、テンプレートマッチングやマニューシャマッチング、線の方向成分に基づくベクトルマッチングや局所輝度情報量であるSIFT(Scale-invariant feature transform)やHOG(Histograms of Oriented Gradients)、LBP(Local binary pattern)などを用いて類似性を判定する一般的な手法を利用できる。
このように圧力ベクトルの類似性を用いて、血管パターンの類似性を判定する登録データの候補を絞る込むことで、1:N認証において高速な認証処理を行うことが可能となる。また詳細は後述するが、圧力ベクトルは人の癖等に大きく起因する、血管画像内の圧迫領域を基に作成される情報であるため、撮影された画像の質が悪い場合等であっても、認証精度を向上させるための有効な情報となる。
次に、前ステップの結果により両パターンに統計的な類似性があると認められるかどうかを判定し(S311)、類似性があると判定されれば該当する登録者の指であるとみなし、認証成功(S318)として認証を終了する。
パターンが一致しない場合は、現在のパターンと過去に撮影されたパターンとの差分画像をすべての組み合わせにおいて生成し(S312)、過去と現在の圧力ベクトルの組み合わせにおいて類似するすべての登録データとの差分画像同士の照合を同様に実施する(S313)。ここで改めて両パターンの類似性を判定し(S314)、一致すれば認証成功となり(S318)認証を終了する。もし認証に失敗すれば、後述の撮影停止条件の判定処理を実施し(S315)、停止条件を満たすかどうかの判定を行なう(S316)。もし停止条件を満たさなければ改めて撮影処理(S303)に戻り、停止条件を満たす場合は認証失敗(S317)として認証システムは入力指を棄却する。
ここで、ステップS315に示した指の撮影の停止条件について述べる。ここでは、少なくとも所定のフレーム数以上の指画像を獲得するまでは停止しないこと、指そのものが十分に静止するまでは停止しないこと、圧力値が一定時間安定した場合は停止すること、タイムアウトに達した場合は停止すること、の4つの条件を考慮して判定する。
まず、所定のフレーム数以上の指画像を獲得する条件を付与することで、獲得する連続フレームにバリエーションを持たせることができ、認証精度を向上させることが可能となる。次に、指の静止を判定する条件を付与することで、現在の指位置に最適な光源からの照射を保証することができる。ただし、本実施例では指輪郭を検知するため、画像処理によって指の位置ずれを補正し、指の位置を例えば画像中央に移動するなどの正規化を実施することができる。そのため、明らかに光源の光が当たる位置に指があり、かつ指の位置補正を行った結果で大きなずれが無い場合は指は静止していると判定してもよい。このような補正後の位置ずれ量を判定することで、実際は指が移動していても多彩なバリエーションの画像の獲得は見込めないことが分かり、認証を早々に終了できる効果がある。次に、指の押し付けの圧力が安定化したら停止するという条件は、押し付けた際の指静脈画像の変動が生じている間は指画像の変動と圧力の変動との多彩な相関が獲得できるが、一定値に安定化しても認証できる見込みが無い場合は早々に棄却する方が装置のスループット維持に寄与できる。また、タイムアウトに達している場合は、仮に撮影条件が十分揃っていない場合でも撮影を停止することで、レスポンスの最大時間を一定化し、一定以上の認証のスループットを保証できる。これらの停止条件を満たさない場合は連続的に再試行を実施し、停止条件を満たした場合は認証失敗となる。
ここで、上述した処理フローのうち、3波長光源により獲得した透過画像より血管像の構造を精緻に獲得する処理の一実施例について詳述する。尚、以降の説明中、しわやぼけ等を総称してノイズと称する場合がある。
血液や皮膚における光の吸収係数や散乱係数は波長によって非線形的に異なることが知られている。そこで本実施例では、異なる3つの波長の透過画像を時分割的に撮影し、これらの3枚の画像を用いて画像に映り込む指の皮膚のしわ情報を除去すると共に、血管像のぼけを緩和する。ここで、血液での吸収率が高い波長をλ0、同等の吸収率を持つ波長をλ2、そして両波長に比べて血液吸収率が低い波長をλ1、とする。さらには、波長λ0における皮膚の拡散係数が波長λ2における皮膚の拡散係数に対して2倍大きいものとする。本実施例では、これらの条件を満たす波長として、λ0を660nm、λ1を690nm、λ2を870nmと設定している。なお、これらの条件を満たす波長であれば具体的な波長はこの組み合わせに限らない。
本実施例の説明に先立ち、一般的な従来のしわ除去技術の概要を図4Aと図4Bとを用いて説明する。従来技術は、単一波長により撮影された観測画像の画像特徴のみに基づいてしわと血管とを分離する方式が基本となる。高周波成分の除去手法には、特定の空間周波数をフィルタリングする手法やTop-hat変換、あるいは独立成分分析などの方式がある。本実施例では最も代表的な方式としてTop-hat変換による高周波成分の除去を行なうものとする。すなわち、画像の断面輝度曲線内で除去したいノイズ成分に応じて構造化要素41と呼ばれる関数を定義し、これを曲線上を滑らせた際の軌跡と元の曲線との差分をしわ成分43として取り出す。この様子を図4Aに示す。この例では、下側に窪んだ輝度がすべてしわの陰影42であるものとし、これらのしわ成分43が検出された後に元の信号成分から減算することで、しわパターンの陰影を除去している。
ノイズとして除去したい輝度成分を調整するためには、構造化要素41の長さを調整すれば良い。一般的に皮膚のしわは血管幅よりも狭いことが多いため、従来手法ではこの調整を経験的に行ない、可能な範囲でしわ成分を除去していた。しかしながら、図4Bに示すように、画像中にはしわの陰影42のみならず血管の陰影44も含まれ、その陰影の幅や明度からは血管の陰影44であるか皮膚のしわの陰影42であるかを判別することができない場合も多く存在する。この場合、従来手法を適用すると図4Bに示されるように血管の陰影44を誤って除去することに繋がるほか、鮮明な血管の陰影44のコントラスト(S/N)を低下させてしまうという問題も発生する。これにより、個人識別に有効となる指静脈パターンの欠損が生じ、認証精度が劣化する可能性が高まるという課題があった。
そこで本実施例では、2波長光源を用いた血管像の精緻撮影技術として、血管像に重畳される表皮像成分の除去手法を適用する。なお、本実施例では波長λ0とλ1の2波長を用いて波長λ0のしわを、そして波長λ1とλ2の2波長を用いて波長λ2のしわを除去するものとする。
図5は、生体内部における光の挙動をモデル化した概念図の一例である。波長λjの照射光Ijが指の背面に照射されると、その光は生体内部を散乱しながら図の下方に進み、掌側の皮膚の近辺に分布する血管51(掌側付近の指静脈)の上部に到達する。血管51は真皮52から成る層に埋められており、ここを血管層とする。ただし、生体は強散乱体であるとし、血管層上部の光分布sjは一様に分布しているものとする。この光分布sjは血管内に存在する血液のヘモグロビンによって減衰し、血管下部へ到達して光分布fjを形成する。光分布fjは内部光sjがLambert-beer則に従って血液で減衰したものであり、以下のように記述できる。
fj = sj exp{ -μbjVbTb - μdj(1-Vb)Tb } ・・・・・・・・(1)
ここで、μbj、μdjはそれぞれ波長λjでの血液と皮膚における消滅係数(吸収係数と散乱係数の和)、Tbは血管層の厚さ、Vbは厚さTbの範囲で血管が真皮に占める体積比であり、0≦Vb≦1となる。また画像は2次元画像を取り扱うが、簡単のため座標系の記載は省略し、fj(x, y)をfjと記載する。また、ここでは血管部における光散乱は考慮しないものとする。尚、消滅係数は、吸収係数と散乱係数のうち、何れか一方によって定義してもよい。
このとき、fjは体内の血管像そのものであり、生体組織による光散乱によるぼけや皮膚表面での減衰などの影響を受けておらず、高精細な血管像と見なすことができる。従って、体内の血管像fjを獲得することが血管像の精緻計測の目的となる。しかしながらこの光分布fjはカメラで撮影されるまでに掌側の皮下組織(真皮や表皮)で散乱したり、皮膚のしわ53などの皮膚表面の光減衰cjの影響を受けたりしながら進むため、fjを直接観測することはできない。特に、体内の光散乱は血管の深さ位置に応じて異なるため、fjの推定はより難しくなる。このような輝度変化を受けながらfjは指表面から放出される。このときの光分布をgjとする。最終的にgjがカメラに撮影されることになるため、gjを観測画像と呼ぶ。
以上の挙動を踏まえ、観測画像gjを定式化すると次の通りとなる。
gj = (fj * hj)cj + nj ・・・・・・・・(2)
ここで、皮下組織(真皮や表皮)での光の拡散の程度を示すPSF(Point spread function)をhj、画像のノイズ成分をnjとし、演算子「*」は畳み込み演算を表すものとする。皮下組織での散乱により、観測画像gjは真の血管像fが減衰し、さらにぼかされた形で獲得される。光の拡散による血管像のぼけは血管像の精緻撮影の意味においては影響があるが、ここでは表皮像を除去することを目的とするため、光拡散の影響が表皮像の影響よりも十分に小さいものとし、このモデルを解析しやすい形に変形する。すなわち、PSFの畳み込み演算によって拡散を表現するのではなく、光の減衰のみを考慮したLambert-beer則で記述できるものとする。このとき、式(2)は以下のように記述できる。
gj = (fj exp{-μdjd}) cj + nj
≒ sj exp{ -μbjVbTbdj(1-Vb)Tbdjd -μcjVcTc } ・・・・・(3)
ここで、dは血管の深さ(皮膚の厚さ)、μcjは皮膚のしわでの消滅係数、Vcは皮膚のしわが表皮に占める体積比、Tcは皮膚のしわの層の厚さである。式(3)によると、観測画像gjは、生体内部の光分布sjが、血液量と皮膚の厚さと皮膚のしわに応じて減衰したものであることが分かる。
以上の定式化により、本実施例で目的とする血管像の鮮鋭化という問題は、観測画像gjより式(3)のfを獲得するという問題に帰着できる。
図6に本実施例による皮膚のしわ除去手法の処理手順を示す。はじめに、同図(a)に示す通り、血液における消滅係数の異なる2波長の画像を連続的に撮影する。異なる2波長の光は、夫々異なる光源を用いても良いし、一つの光源から異なる2波長の光を照射してもよい。なお、以降の説明ではg2に対するしわ除去を例示するが、g2をg0に読み替え、かつgjやλjなどの波長を示す添字jについてj=2をj=0と読み替えれば同様にg0のしわ除去が可能となる。
血液の消滅係数の低い波長λ1による画像をg1、高い波長λ2による画像をg2とする。血管部44に着目すると、輝度値はg1>g2となるが、皮膚のしわ部分42においては概ね一致するか、あるいはg1≦g2となっている様子が分かる。このような差異に基づいて血管領域としわや異物等によって形成されるノイズ領域とを分離する。なお、単純にg1とg2との差分画像を求めることで血管部分の情報だけを獲得できるようにも見えるが、皮膚のしわの輝度値は僅かに異なっているため、差分によりしわ情報のみを完全に除去することができない。そのため、このしわ情報、つまりはノイズ情報の差分を完全に処理することが認証精度向上に大きく寄与し得る。
次に、図6(b)に示す通り、血液に起因する輝度の陰影をg2より除去する。上述の式(3)に対して両辺に自然対数を施すと以下が得られる。
ln gj ≒ ln sj - μbjVbTbdj(1-Vb)Tbdjd -μcjVcTc ・・・・(4)
このとき、血液の体積比Vbがゼロとなる画素において両画像の輝度値が一致するようにg2に係数を掛けるものとすれば、以下が得られる。
ln s2d2Tbd2d -μc2VcTc = ln s1d1Tbd1d -μc1VcTc ・・・(5)
このとき、式(4)においてj=1、2とした2式と、式(5)の3つの連立方程式により、未知数であるVbTbが得られる。変数VbTbを血液遮光係数Vbtと定義すると、Vbtは次のように記述できる。
Vbt = ( ln g1 - ln g2 ) / ( μb2b1d1d2 ) ・・・(6)
このとき、Vb>0である領域がVb=0である領域と同じ輝度値となれば、観測画像g2より血液に起因する陰影が除去できる。すなわち、
β gj = gj (Vb=0) ・・・・・・・・(7)
となる係数βを求めれば良い。ただしgj (Vb=0)をgj (x、y)の画素(x、y)の近隣におけるVb=0の輝度値とする。式(7)を変形すると以下の通り式(8)が、そしてこれに式(4)と式(4)でVb=0とした式を代入すると、以下の式(9)が得られる。
ln β = ln{ gj (Vb=0) } - ln{ gj } ・・・・・・・(8)
∴β = exp{ μb2d2 }Vbt ・・・・・・・(9)
以上を纏めると、観測画像g2より血管に起因する陰影を除去した画像g2eは次のように獲得できる。
g2e = g2 exp{μb2d2 }Vbt、 (if Vb>0) ・・・・・・・(10)
= g2、 (otherwise) ・・・・・・・(11)
この処理結果が図6(b)に示されている。
画像g2に対する血管除去画像g2eには、皮膚のしわを初めとする血管以外のノイズ情報のみが残されることになる。このノイズ領域を有する画像に対して一般的なTop-hat変換を施すことで、皮膚のしわのような高周波成分を抽出することができる。この様子を図6(c)に示す。このしわ成分のみを抽出したノイズ画像をchとし、Top-hat変換の演算子をTH(・)とすると、しわ成分の画像chは以下のように記述できる。
ch = TH(g2e) ・・・・・・・(12)
なお、本実施例では比較的実装が容易で高速に動作するTop-hat変換に基づくしわ成分の除去を利用しているが、例えば独立成分分析やグラフカット、あるいは画像の特定周波数のフィルタリングなどに代表される一般的なノイズ除去手法を利用しても良い。
最後に、しわ成分のみの画像chと、元画像g2とを利用して、しわ成分のみを除去した精緻血管像g'2は以下の式によって獲得できる。
g'2 = g2 - ch exp{-(μb2d2)Vbt} ・・・・・・・(13)
この様子を図6(d)に示す。以上より、血液に起因する陰影を残しながらも認証に不要となる皮膚のしわ成分を選択的に除去でき、真の血管像を有する認証用血管画像を取得することができる。これにより、皮膚のしわの有無の変動にロバストな指静脈認証が実現できる。
なお、本技術は指の皮膚表面におけるしわや指紋を除去するだけではなく、皮膚の汚れが付着した場合や、衛生作業用手袋などの半透明手袋の畳み皺などを除去することもできる。これにより、指の汚れにも頑健で、かつ半透明手袋を着用した際にも指静脈認証が実現できる。
また、取り除いたノイズ情報が、例えば指紋などの皮膚特有のしわ情報であれば、これを新たな認証情報として活用することも可能である。単一の光学系で一度に静脈と指紋の情報が獲得できることから、指紋撮影用の装置を別途追加することなく、マルチモーダル認証を実現することが可能となる。
続いて、獲得したしわ除去後の画像g0とg2とを利用して、血管像のぼけを除去する一実施例について述べる。
一般的に、皮膚内部における光の消滅係数が2倍の関係性にある2つの波長において、消滅係数の低い方の波長の光の広がり方はもう一方の波長に比べて小さいことが知られている。また、皮膚内部に仮想的な点光源が存在することを仮定した場合の光の広がり方は、それを皮膚外部から観測した場合、点光源が奥深くに存在する方が光の広がり方が大きい。このとき、両波長における皮膚外部で観測される光の広がり方を比べると、消滅係数の小さい波長の点光源がもう一方の波長の点光源に比べて2倍深い位置に存在する場合、両者の光の広がり方がほぼ同一であることが知られている。
この特性を利用すると、異なる2つの波長によって撮影された血管像g0とg2との間に、皮膚内の消滅係数が2倍となる関係を持つ場合、血管像の光の広がり方の程度を推定することが可能となる。具体的には、皮膚のしわが除去された画像を定式化すると、
gj = fj * hj + nj ・・・・・・・・(14)
と記述でき、j=0とj=2との場合において、
h0 = h2 * h2 ・・・・・・・・(15)
が成立していることに相当する。このとき、真の血管像fについて解けば、
f = g2 + ( g0 - g2 ) * g2 * g0 -1 ・・・・・・・・(16)
となる。ただし、a * b-1 は画像aをbでデコンボリューションする演算であることを示す。
上式を計算することにより、ぼけを含まない血管像fを獲得することが可能となる。なお、デコンボリューションの演算手法としては、ウィナーフィルタ、CLS(Constrained least square)フィルタ、TV(Total variation)法、BTV(Bilateral total variation)法などの一般的な手法を用いることができる。
図7は、2波長の透過画像より血管深さを計測する際の生体内のモデルの一例である。血管深さの獲得は、上述の皮膚表面のしわの除去やぼけの除去と同様、真の血管構造情報を獲得し、認証に利用できる情報量を増加させるという意味で重要である。なお、図7は図5とほぼ同様の状況をモデルしたものであるが、図7では皮膚のしわが存在しないこと、そして真皮層52で光は拡散しないことを前提とした簡素化がなされている点で相違がある。実際には上述のしわ除去処理を実施した後の2波長画像を用いることで、この簡易モデルを適用した血管深さ計測が実施できる。
図7に示した物理モデルにおいて、血管濃度Vbtを解くことができれば、血管の存在する深さDを求めることも可能となる。内部光siがLambert-beer則に従って減衰すると、観測画像gi
ln(gi) = ln(si) - μbi VbTb - μsi(1-Vb)TbsiD ・・・・・・(17)
と記述できる。ここでμbi、μsi はそれぞれ血液と皮膚の消滅係数である。2波長撮影によりg1とg2を獲得し、血管のない(すなわちVb=0)位置においてα1 g1 = α2 g2(=定数)となる係数αiを掛けると、
ln(α1s1) - μs1 (Tb + D ) = ln(α2s2) - μs2 (Tb + D ) ・・・・・(18)
となる。式(17)のi={1、2}と式(18)より、VbTb(= Vbtとする)は、
Vbt = (ln(α1g1) - ln(α2g2))÷(μb2b1 + μs1 - μs2) ・・・・・(19)
と求められる。最終的に、式(19)を式(17)(ただしi=2)に代入すると次式の通り血管深さDが導かれる。
D = ( ln(α2s2) - μs2Tb - ln(α2g2) + (μs2b2)Vbt )÷μs2 ・・・・・(20)
ここで、内部光 s2や血管層の厚さTbは観測できないため D は確定できない。一方、g2に係数α2を掛けているため、内部光の項ln(α2s2)は場所によらず固定値とみなせる。また、Tbも指によらず一様と仮定すると、ln(α2s2) - μs2Tb (=C) を固定値とできる。このときのDを血管の相対深さ分布Drと定義する。すなわち固定値Cだけバイアスを持った相対的な血管深さが獲得できる。ただし、光は減衰するという物理的な制約により、C>ln(α2g2) とする。以上より、平面的な血管構造のみを利用する従来手法に対して個人認証に有用な情報量が増加するため認証精度の向上が期待できる。
図8Aおよび図8Bは血管深さを利用することで異なる血管パターン同士を正しく識別できる一例を示した模式図である。図8Aは異なる2つの指の血管パターン81と82とを従来の2次元投影血管像80として重ね合わせた状態を示している。この場合、両パターンの2次元投影像は類似しているため、従来手法では同一パターンであると判定され易くなる。一方、図8Bに示されるように立体的な血管像83として重ね合わせると、両血管パターン81と82とは血管の奥行きの形状に大きな差異が見受けられる。従って、立体像の観測により両者が異なる指であることが判定できるケースが増え、従来の2次元投影像を利用した認証手法に比べて認証精度の向上に寄与する。
立体的な線パターンの照合方法としては、3次元のテンプレートマッチング(ボクセルマッチング)やSIFT特徴量などを計測して特徴点同士の類似度を判定する手法、線の接線成分をベクトル化してその内積を計算するベクトル照合などの一般的な3次元形状の照合技術を用いることができる。
ここでは、3値テンプレートと相対深さ分布を利用した照合の一実施例について示す。本実施例では、3値テンプレートに上述の深さ情報を適用した照合方式とする。
まず、指静脈の3値テンプレート Pv を抽出する。Pv は、血管画像より特徴抽出を実施し、その血管らしさに応じて血管/曖昧/背景の3値に分類した画像である。次に上述の通り相対深さ分布 Dr を得る。最後に Dr の値を0-255に正規化して D'r とする。正規化の一実施例としては、D'r は、Pv の血管画素の全位置における Dr の平均値 da と分散 σ を求め、da±3σの範囲を0-255に線形変換する方法がある。最終的な提案手法の照合データは Pv と D'r のペアとなる。
次に、上述の相対深さ分布を用いた照合方法の一実施例を示す。本実施例では、登録と入力の Pv を重ねた際の血管と背景との重なり(ミスマッチ)の数を総血管画素数で除算しミスマッチ率を得る方法を基本とする。これに対し本実施例では、もし血管同士が重なっていても、その画素に割り振られている相対的血管深さ D'r の差が閾値 ThH を超える場合は立体的なずれがあるとしてミスマッチと判定する。これにより別指同士の血管画素が偶然重なって類似性が高まるという従来手法の課題を緩和できる。さらに、血管同士の重なりで D'r の差が ThL より小さい画素は通常より類似性が高いとしてその画素数と重みとを乗算し、これをミスマッチ数より減算することでミスマッチ率を低下させる。これにより、血管形状と深さの両方が類似する指は別指分布との分離度をより高められる。
すなわち、血管の深さが付与された3値テンプレート画像同士のミスマッチ率は以下のように表現できる。
ミスマッチ率 = {α1×血管と背景との重なり数
+α2×血管の深さの差がThHより大きい血管同士の重なり数
−α3×血管の深さの差がThLより小さい血管同士の重なり数}/全血管画素数
・・・・・(21)
ただし、αi(i=1、2、3)は各ミスマッチ数に対する重みである。例えば、波長λ0=690[nm]、λ1=870[nm]、α1=α2=α3=1、ThL=16、ThH=80、とすることができる。特に、波長の選定については本実施例のように、血液による吸光度の差が大きい波長同士を選ぶことで安定した血管の深さ情報の抽出を可能とする。
なお、上述の手法では、ミスマッチ率の算出に際し、αiの重みを付与した形で3値テンプレートにおけるミスマッチ率計算と深さ情報とを結合したが、例えば従来技術により照合スコアを算出した上で、上述の深さマップ同士を類似度を正規化相互相関法などの手法により求め、従来技術の照合スコアと深さマップに関する類似度とを合成する方式としても良い。この場合、最終的な照合スコアは多次元ベクトルとして捉える事ができる。これに対し、最も本人と他人とを識別できる判別方法を統計的な手法により求めても良い。例えば、判別分析や主成分分析によって最も本人と他人とを分離し得るパラメータを学習サンプルより獲得し、各スコアを線形結合することで一つの照合スコアに縮退することができる。このような統計的手法を用いることにより認証精度を向上させる効果が期待できる。その他、SVM(Support Vector Machine)に基づいて本人と他人とを識別し得る境界を求めることで認証を実施しても良い。
ここで、本実施例に係る認証装置の光源は、必要な認証精度や機能、コストなどを勘案し、2波長あるいは単一波長としても良い。上述の通り、光源を3波長とすることで、指のしわ除去、血管像のぼけ除去、血管深さの推定が可能となるが、必要に応じて、これらの各機能を限定し、それに必要な数の波長を具備することも可能である。波長の種類数を限定することにより、撮影の高速化、外光に対する耐性の向上、装置の低コスト化、制御回路の単純化、などの効果が得られる。例えば、上述のλ1とλ2の2波長に限定すれば、皮膚のしわ除去と血管の深さ計測が実現できる。あるいは、上述のλ0とλ2の2波長に限定すれば、血管のぼけ除去のみが実現できる。特に、ぼけ除去に関してはアンシャープマスキングや体内での光の拡散を想定したPSFのデコンボリューション、あるいは体内での光の拡散を推定しながらボケを除去するブラインド・デコンボリューションなどの強調処理を適用することで簡易的に血管画像を強調することができることから、ぼけ除去を光学的な特性を用いずに実施する方法と、λ1とλ2の2波長を用いる方法との組み合わせは高い実用性を有する。
特に単一画像に基づく血管のぼけ除去の一実施例として、ベイズの定理に基づく最大事後確率(MAP;Maximum a posterior)推定に基づく方法がある。血管部の輝度情報の観測結果は、体内に存在する真の血管が光拡散などの影響によりぼけたりノイズが重畳されたりした後の結果である。真の血管にはノイズは無く、そして接続性が保たれ、さらには血管のエッジ以外に急峻な空間的輝度変化は無いものとする。このような条件に合致するように真の血管の推定結果を生成しておき、その推定結果を光の拡散を定式化した関数によってぼかし、観測画像との比較を行なう。推定結果が真の血管に類似すれば、ぼかした後の画像は観測画像に類似するはずである。よって、観測画像と推定値のぼかし画像との間の誤差が最小化される方向に真の血管の推定結果に補正を掛け、これを繰り返し実施することで血管像を推定できる。
あるいは、大量の指画像データベースに対し、血管部分だけを集めたサンプル、皮膚のしわだけを集めたサンプル、血管もしわも存在しない部分だけを集めたサンプルなどを用意しておき、断面輝度曲線などの輝度特徴を事前に学習しておく。そして、未知の画像が与えられたとき、ある部分画像においてどのクラスに属する可能性が高いかを判定し、確率的に血管部か否かを決定する方法も有効である。この処理によって単一画像においても血管部分のみを強調することが可能となる。当然ながら、多波長の画像に同様の処理を適用できることは言うまでもない。
なお、本実施例で規定している波長λ2を用いて撮影した血管像g2には他の波長に比べて血管パターンが鮮明に映し出されており、認証に利用する特徴量を獲得するためには好適な画像である。従って、必要な機能やコストに応じて利用する波長を制限する際には、特にg2に対してしわ除去やぼけ除去を実施しこれを認証に活用することで、認証精度の向上等に高い効果を得ることができる。
また上記実施例において、g1は血管が見えにくい波長を用いた観測像であるためg1そのものに対するしわ除去は行なわず、他の画像のしわ除去のための参照画像としてのみ活用している。しかし上述の数式を変形することでg1に対するしわ除去を実施することも可能である。波長の選択方法によってはg1の画像中にも鮮明な血管が観測できる場合も想定できるため、g1にしわ除去を適用して鮮明な血管像に変換しておき、後段の認証処理等に活用することも可能である。
次に、指に掛けられる圧力と得られる生体情報との相関を用いた照合処理の一実施例について詳述する。はじめに、圧力と時間との関係性について、撮影開始から停止までに遷移する圧力値の典型例を示し、これに対する圧力値のバリエーションを獲得するための制御について述べる。次に圧力の変化量とパターンの変化量との関連性について述べ、最後に圧力の変化量とパターンの変化量とを考慮した照合処理について述べる。
図9は、圧力の時間的変化と撮影終了のタイミングとの関係性の事例を示した説明図である。
本実施例では圧力センサを4つ設けているため、ここでは4つの圧力センサ出力の合計を指から与えられる圧力の強さ(圧力値)と見なす。撮影が開始されたときの最も典型的な圧力値の遷移は、図9の曲線(1)に示す通り、指が静かに置かれた状態から時間が経つにつれて徐々に圧力値が増加し、最終的に一定値に収束する、というものである。あるいは、曲線(2)に示すように、比較的強めに指先で装置を押し込む動作から開始し、徐々に力が緩み、圧力値が一定値に収束しないものも想定される。これに対し、曲線(3)に示すように、圧力が極めて弱い状態でキープされることも考えられる。あるいは曲線(4)に示すように、指を提示すると同時に想定する圧力値を大きく上回るケースも想定され、その場合は圧力がゼロの状態から急峻に上昇することになる。その他にも、大きな圧力がかかっていたにもかかわらず急峻に圧力がゼロに戻るケースも想定される。
このような様々な圧力の加え方のバリエーションに対応するため、本実施例では次のような撮影条件を設けるものとする。まず、撮影に適した指の圧力値の範囲、すなわち圧力値の上限と下限とを定義しておく。そして、時系列に圧力値を観測したとき、圧力値が上限を超える場合は「押し付け警告の出力」を行い、押し付けすぎである旨を利用者にフィードバックして押し付けを弱めることを促す。同様に、圧力値が下限よりも小さい場合は「押し付け要求の出力」を行い、指を提示部に押し付けることを促す。ただし、実用的には圧力は弱くても指の血管は観測されることが多いため、下限値はゼロ付近としてもよい。
また、曲線(3)に示すように圧力値が下限を超えているものの弱い状態が続き、かつ圧力が強めの画像が撮影できていない場合は、「押し付け要求の出力」を行い、軽く装置を押し込んで圧力を掛けるよう利用者に促す。同様に、圧力値の弱い画像がカメラのフレームレートの関係により撮影できないうちに圧力値が上昇し、そのまま閾値の上限未満付近に到達して一定値が続く場合は、圧力値の弱い画像が撮影できていないため指の圧力を弱める旨のガイダンスを提示する。このようなガイダンスの提示により、設定した上限値と下限値の範囲内の様々な圧力の画像を得ることができ、認証に活用できる情報量が増え、認証精度の向上が期待できる。
図10A及び図10B及び図10Cは、圧力ベクトルの概念と算出方法の説明図である。
図10Aは、指の提示に対する4つの圧力センサの圧力値の一例を示している。また図10Bは、図10Aと同一の指を同一の圧力で異なる場所に置いた場合の一例を示している。指1が指画像100に映し出され、指輪郭101が検出されている。指先は画像左側に位置し、指輪郭101の先端を指先102とする。また、指とアクリル板との接触による圧力値が所定値以上の場合に生じる楕円状の圧迫領域103が観測されている。また指画像100の4辺には各圧力センサの圧力値が示されている。
この2つの図を比較すると、指1の提示位置は異なるものの、圧迫領域103が観測される指輪郭内の相対的な位置は同一であることが分かる。このように全く同じ圧力を掛けた場合でも、指がアクリル板に接触する位置がずれることで、得られる4つの圧力値のバランスが異なる。従って、本質的には両者は同一の圧力を掛けて提示されたものであっても、単純に4つの圧力値を比較しただけでは同一の圧力が掛けられたと見なすことはできない。そこで本実施例では指輪郭101を利用して圧力の掛けられた場所を正規化できる圧力ベクトルを定義する。
圧力ベクトルの算出方法の一実施例を次に示す。まず、上述の通り指輪郭101を検出し、図面左側の輪郭線のうち曲率の高い部分である指先102を基準点とし、指先102から圧迫領域103の中心に向かう方向を圧力ベクトル104の方向と定義する。尚、圧迫領域の基準点は、中心に向かう方向以外にも、所定の基準点を定義してもよい。圧迫領域103の中心位置は4つの圧力センサの圧力値の比率から求めることができる。具体的には、4つの圧力センサの配置の重心が指画像の中心点と一致するとしたとき、指画像の中心点に対して対称位置に存在する2つの圧力センサをペアとし、圧力値の比率に応じて圧力中心を求める。例えば、図10Aの圧力中心は、図面の左右の圧力センサの値が3と7であるため、左右方向の圧力中心は画像左端から右に向けて画像幅の7/10の位置にあると考えられる。同様に、上下方向の圧力中心は、画像上端から下に向けて画像高さの10/19の位置にあると考えられる。また、圧力ベクトルの大きさは上述の圧力値と一致するものとし、単に4つの圧力値の合計とすることができる。
このように図10Aと図10Bの圧力ベクトル104を比較するとほぼ一致することが分かる。
装置が小型化され筐体に位置決め手段がない状態において、利用者が指を置く位置に、撮影の都度大きなばらつき、位置ずれが生じるのは上述の通りである。しかしその一方で、ユーザは指の置き位置は撮影の都度違えど、個人の癖等により、指設置時に生じる圧迫領域の指領域内での相対的な位置は、統計的にほぼ一致する特性がある。本発明における圧力ベクトルはこのような特性を生かして生成される情報である。
また、上記では指の輪郭の基準点から圧迫領域の中心までの圧迫ベクトルを用いたが、指の輪郭を用いず、各画像における圧迫領域が生じている位置の関係から、類似度を判定してもよい。
図10Cは図10Aと4つの圧力値が完全に一致しているが指の位置が異なる例を示しており、圧力ベクトルを求めて比較すると、圧力の掛けられている状態は異なっていると正しく判断できることが分かる。
図11Aおよび図11Bは計測した圧力と獲得した指静脈パターンとを利用した照合データの一例の説明図である。
図11Aは登録データの一例を示しており、登録された照合データ110と圧力値とが時系列に並べられたものであり、フレーム1から順に撮影され、フレーム3が最後の撮影状態である。また、照合データ110には血管パターン111が分布している。さらに、押し付けによって生じた圧迫領域103が点線によって示されており、この内部の血管は消失している。またフレームごとの圧力ベクトルも登録されている。ここでは圧力ベクトルの方向はほぼ同一であるとし、圧力値のみを表記した。尚、本説明において登録データにおける圧迫領域を、登録圧迫領域と称する場合がある。また、登録データとして記憶されている圧力値、圧力ベクトルを夫々、登録圧力値、登録圧力ベクトルと称する場合がある。
この例では、各フレームを順次撮影するごとに圧力値が徐々に上昇しており、緩やかに押し付けられていることが分かる。そして、圧力値が高まるにつれてパターンの圧迫領域103が拡大している様子が分かる。また、各フレームごとにパターンの欠損領域の差分画像も合わせて登録されている。例えば図中に「フレーム:1−3」と示された照合データは、フレーム1とフレーム3の差分画像を意味する。なお、これらの差分画像は予めデータベースに保存しておいても良く、あるいは照合の際に生成しても良い。これはデータベースの容量と処理時間とのトレードオフを考慮して自由に設計可能である。
同様に、図11Bは入力データの一例であり、入力された指の血管パターンと圧力値とを時系列に並べたものである。入力指が提示されると、上述の処理によって指静脈パターンと圧力ベクトルが得られる。この例では、時系列的に3枚の指静脈パターンが入力された状態を示しており、また圧力ベクトルの方向成分は登録データの登録圧力ベクトルと類似していると仮定する。
図12A及び図12B及び図12Cは、上述の図11の登録データと入力データとの照合の過程を示す説明図である。ただし、ここでは登録指と入力指はやや類似性のある別指であるものとし、両者が相違と判定されることが正しい照合結果であるものとする。
照合は、事前に登録された指画像と圧力情報とのペアに対し、現在の入力における圧力情報を観測しながら、登録データの圧力情報との比較を行ない、類似する登録圧力ベクトルを照合対象としてパターン同士の比較を行っていく。
図11Bに示した通り、入力データでは指の提示する時間と共に圧力値が9、30、40と増加していく。このとき、圧力値9となるフレーム1に対しては、登録データ側にも同様に登録圧力値10とのデータが保存されている。このとき、圧力ベクトルの方向のずれがThθ以内、かつ圧力値のずれがThpである場合は、圧力ベクトルが類似するものとして、登録データとの照合を行う。例えばThpを5とすると、圧力値9となる入力データと対応する登録圧力値10となる登録データとが照合対象となる。同様に、圧力値40となる入力データと対応する圧力値38となる登録データとが照合対象となる。
従って、まず初めに実施されるフレーム1の入力データの照合では、圧力値の差が閾値Thp以内であるデータが照合対象となることから、図12Aに示される通り登録データのフレーム1が照合対象となり、両者の照合が実施される。ここで、両パターンの類似性は比較的高いものではあるが、同一指であると断定できるものではなかったとする。この類似性の判定基準は統計的に事前に決定しておく。このとき、認証処理は完了できないため引き続き画像を撮影し、図11Bに示す通りフレーム2を獲得する。ここでは、圧力値が30である画像を得たとする。しかしながら、図11Aに示される登録データには圧力値30との差がThp以内の圧力値のデータは存在しないため、この入力データは照合されない。
続いてフレーム3が入力されると、このときの圧力値が40であることから、登録データのフレーム2の画像に対する圧力値との差が閾値Thp以内となる。よって、図12Bに示されるように、入力データのフレーム3と登録データのフレーム2との照合が実施される。この処理では、両者に圧迫領域が存在するため、図12Aにて実施した照合結果と比べて若干類似性は低下する。しかしながらここでも類似度は若干高く、別指とは断定できない結果であったとする。さらに図12Aの照合結果と今回の照合結果との両者を合成しても確率的に同一指であるとは見なせない、例えば単純ベイズ分類器などを用いて確率的に両結果を合成しても事後確率がその登録者であるか別人であるかを判断できなかったとする。この場合は更なる照合を行う。
更なる照合として、図12Cに示すように登録データの差分画像であるフレーム1−2の画像と、入力データの差分画像であるフレーム1−3の画像とを照合する。この差分画像は押し付けによる血管パターンの欠損あるいは変形部分のみが取り出されたものである。また両差分画像は、これまでの過程で実際に照合した画像の差分画像であるため、圧力値の変動が概ね一致している。従って、仮に入力データと登録データとが同一指である場合は、指に対する圧迫の度合いが類似する場合はそのときの変化量も類似すると考えられる。一方、指が異なる場合は、指の立体形状や皮膚の柔らかさ、あるいは血管の太さや血液濃度などの相違があるため、指に対する圧力値が同程度変化しても、静脈パターンの変化量は相違が大きくなると考えられる。これらの差分画像同士を照合すると、大きく差異が生じるものと考えられる。
図12に示した入力データと登録データは別指であり、よって図12Cに示した入力側の差分画像と登録側の差分画像とは大きく異なっていることが分かる。特に、入力データ側の差分画像は圧迫領域が2つ存在しており、登録データ側のものとは大きな相違が見られる。従って、両者の照合結果は類似度が低いものとなる。上述の通り、これまでの照合結果では同一指とも別指とも決められなかったが、この差分画像の照合結果を前述と同様に合成すると、ほぼ別指であることが確定できる。
上述の実施例では、差分フレームのパターン同士の照合を実施することによって別指同士の照合結果をより別指であると判定させるものであったが、同一指同士の照合時においても同様に、類似する圧力ベクトル同士の差分フレームの照合結果を合成すれば、差分フレームのパターンが類似しているという結果が含まれるため、さらに同一指らしさを高められる。
以上より、圧力値の類似するフレーム同士の照合と、それらの差分画像の照合を実施することにより、同一指と別指との分離度が向上し、認証精度を高めることが可能となる。
なお、図11あるいは図12にて例示した画像の相違は、押し付けにより血管が消失し、その強さが増すにつれて圧迫領域の大きさや個数が異なるというものであった。これ以外にも、押し付けによってパターンが全体的に変形することで差異が生じることも考えられる。このような状況においても、別指であれば変形の度合いが異なると想定されることから、正しく別指であると判定が可能となる。
また、押し付けによって血管パターンが欠落したことをフレームの差分によって検出し、その領域の形状そのものを照合に利用しても良い。指の圧迫によって血液が押し出されると、その部分の輝度値が明るくなることが一般的に知られている。従って、連続的に撮影された画像フレーム間の差分を取ると、押し付けた場所に輝度差が確認される。輝度差に特定の閾値を設け、その閾値以上輝度変化が生じた場所をデータ化し、上述の差分画像と同様に照合を実施することで、仮に押し付けられた場所に血管パターンが存在していなかった場合においても押し付け部位の形状の変化の類似性を判定することができる。
同様に、押し付けによって圧迫された部位を検出した後、その部分の指紋パターンあるいは皮膚のテクスチャを特徴量として照合しても良い。これにより、上述のように押し付けられた部位、つまりは圧迫領域、登録圧迫領域の形状だけではなく、その内部領域の皮膚の情報を活用することで更に高精度な照合を実現できる。
図13は、指を取り囲むように光源を配置した上記実施例の変形の一例を示す。
上述の図2に示した実施例では光源が指先前方のみに取りつけられていたが、本実施例では指の周囲に光源3が多数配置されている。また、開口部を規定するアクリル板22は上述の実施例よりも広く取られており、指の第一関節付近まで撮影することが可能となっている。そのため、指1の側面にも光源が配置されており、指先前方の光源では照射できない部分を照射する。なお、これらの光源は上述の実施例と同様、複数の波長の光を照射できるように、各波長の光源を交互に配置している。また圧力センサ23−a、23−b、23−c、23−dはアクリル板22の直下に設置されている。さらにはアクリル板22は指先の前方方向に傾斜しており、これに合わせてカメラ9も斜めに設置されている。このような傾斜を設けることにより、指1がアクリル板22に対して水平に提示されやすくなり、カメラ9が指1の正面を撮影しやすくなるという効果が得られる。さらに、指先前方付近の光源3が指1の甲側を照射しやすくなり、完全な透過光映像が得られるため血管のコントラストが高まりやすくなる。
指の側面に設置されている光源を指1に向けて照射すると、その側面には光が強く当たるため輝度飽和を生じやすい。そこで、各光源を順次点灯しながら画像を時系列的に撮影し、輝度の飽和していない適切な部分を合成することで、全体的に均一な血管画像を獲得することができる。これは、HDR(High dynamic range)合成に基づく手法などを利用できる。
また、照射する向きの異なる光源により画像を撮影すると、その向きに応じて血管像の影が僅かに変化する。この事実を利用して、血管の位置や血管深さを推定することもできる。特に、光源の位置は既知であるため、血管像の影の変化量と光源の位置関係から三角測量の原理で血管の深さを検出できる。さらには、通常では見えにくい細い血管や薄い血管においても、多方向より様々な波長の光を照射すると、ある照射方向やある波長の光源でそのような血管が鮮明に見える場合がある。よって、様々な照明条件によって撮影された画像をHDR合成、あるいは超解像合成によって高精細化することが可能となる。ただし、生体内部では光が拡散を起こしながら進むため、事前に生体内の拡散光成分をモデル化しておき、拡散光をキャンセルするためのデコンボリューション処理を組み合わせることで拡散光の影響を抑制しながら合成することで、さらに高精度な血管像の精緻構造の獲得が実現できる。
本実施例では、上記実施例1の光源の配列について、より小型で画像処理の精度を向上させることができる構成の一例を説明する。
図14Aおよび図14Bは撮像する指の下方に光源を円形に配置した小型指静脈認証装置の一実施例である。
図14Aの上面図に示す通り、装置開口部のアクリル板22は円形に開けられており、その周囲に光源3−a、3−bが円形に配置されている。光源は異なる波長の光源が交互に配置されている。これにより、どの波長の光源においても光の入射位置が近いことから画像の輝度勾配が類似するため、各波長で得た画像の合成処理を実施する際に意図しない輝度差によるアーチファクトの発生を抑制できるため都合が良い。
利用者が指1をアクリル板22の上に提示すると、上述の実施例と同様に圧力センサ23−a、23−b、23−c、23−dが指の圧力を検知して撮影を開始し、認証を実施する。
初めに、光源3−aのみを点灯し、1枚目の画像を撮影する。続いて光源3−bのみを点灯し、2枚目の画像を撮影する。これを1つずつ光源を変えながら点灯し、最後の光源の点灯による撮影を実施する。これらの画像より血管像を再構成し、その血管パターンを利用して、上述の方法によりしわ除去、ぼけ除去、血管深さの検出などを実施して、圧力の変化とパターンの変化との相関を用いた認証処理を実施する。
なお、本実施例においては、指の輪郭が撮影できない程度の開口部の大きさしかないことより、指の輪郭を検出することができない。これに対し、上述の皮膚しわの分離技術を用いて指紋を抽出し、指紋の隆線に直交する仮想的な線をあらゆる位置に対して算出して、すべての仮想的な線が最も集中する点を指紋の中心位置と見なして位置ずれを補正するなど、指紋を利用した位置補正を実施することで、照合時の位置ずれ補正を実施することができる。
なお、図14Bに示す通り、アクリル板22は指先と接触しないように一段下げて設置しても良い。これにより、指先の微小領域全体の血管が圧迫によって消失されることを防止することができる。特に微小領域内の接触では圧力が強く掛かる傾向にあるため、圧力の変化の有無に関わらず血管パターンが常に消失することがある。よって上述した圧力とパターン変化との関係性を用いた照合方式の効果が低減しやすくなる。そのため、指1はアクリル板22と接触せず、その代わりにカメラ筐体支持部21と接触するようにすれば、大きな血管の欠損を避けることができる。この構造においては、カメラ筐体支持部21が圧力センサに連動しているため指が装置を押し付ける圧力を検知することが可能であり、当然ながら、この場合においても指の押圧に応じて血管パターンの変形が想定されることから、圧力値と血管パターンとの変化の相関を照合に利用することで、更なる高精度化を実現できる。
図15Aおよび図15Bおよび図15Cおよび図15Dは、撮影した複数枚の画像より血管像を再構成する一実施例である。まず光源3−aより指1の内部に照射された光は生体内で散乱を起こしながら進行し、その距離に応じて指数関数的に減衰を起こす。このとき光源3−aは被写体である指1に近接あるいは接触しており、光源に近い画像領域は輝度が飽和して白飛びを起こす。この様子が図15Bの輝度値のグラフに示されており、輝度飽和閾値を超えた領域において画像上では白飛びしていることになる。しかしながら、光源より遠ざかるにつれて光が減衰するため、光源から離れた領域においては輝度が低下する。従って、この画像において血管が観測できる領域は光源からの距離が一定以上離れた場所となる。同様に、光源3−bを照射した場合も同様の傾向を示す。ただし光源3−aと光源3−bは異なる波長であるものとし、血液や皮膚などの光学特性は異なる。なお、光源3−aからは波長1が、光源3−bからは波長2が照射されるとし、さらにここでは波長1の方が光が届きにくく、また血液に吸収されにくいものとする。
もし生体内に血管が存在しない場合、図15Bの点線で示されるように滑らかな曲線を描く。各波長によって光の減衰率が異なるため、波長ごとに光の届く範囲が異なる様子も分かる。一方、実際には血管51が存在するため、同図の実線で示されるように、血液による光の吸収の影響によって、血管の存在する位置周辺の輝度値が僅かに低下する。ここでは波長2の方が血液による吸収率が高いため、より鮮明な陰影として現れている。
これらより、血管の存在しない場合の光源との距離と輝度値との関係を事前に多数データ化しておき、実際に輝度値を観測した際の輝度の曲線に最もフィットするデータとの差分を求めることで、図15Cに示すように各波長ごとに血管の吸収による陰影のみを取り出すことが可能となる。
このような陰影の抽出を、各光源それぞれを単一点灯して画像を獲得しながら実施し、各画像で得られた血管の陰影の結果を、例えば単純な加算などで合成することで、信頼性の高い血管の陰影検出が可能となる。ただし、輝度飽和によって観測できない領域は利用しないようにする。この処理を実施した様子を図15Dに示す。2波長の差分画像を強調することにより血管に起因する陰影のみをロバストに求めることができる。また、上述の実施例と同様に、皮膚のしわ除去やぼけ除去を実施しても良い。
光源点灯のバリエーションとしては、単一光源の点灯の繰り返しに限らず、複数光源を同時に点灯しても良い。例えば開口部の中心に対して点対称の位置に存在する光源を同時に点灯すると、開口部の中心付近の血管を鮮明に照射することができ、血管の検出精度を高めることができる。また光源を複数同時に点灯することで、撮影の高速化にも寄与する。様々な照射パターンにおける画像を多数撮影して合成することでより高精細な血管像を得ることができる。
その他の血管像の再構成手法として、血管を仮説に基づいて分布させ、光伝搬方程式に基づいて光伝搬をシミュレートし、実際の撮影画像との相違を求め、この相違に従って仮説を修正するという処理を、実際の画像とシミュレート画像とが類似するまで反復し、一定の類似度が得られた際の血管の分布の仮説を推定結果と見なして獲得しても良い。この方法は多くの処理時間が必要となるが、血管の深さや濃度をより正確に獲得できる。
本実施例では、図16を用いて実施例2に記載の認証装置を携帯端末に搭載した一実施例を示す。携帯端末160はタッチパネル161を有しており、そしてその下部に当該入力装置2が搭載されている。これは圧力センサを有することから、携帯端末の操作ボタンとしての機能を併用することができる。例えば、携帯端末へのログインに際しては入力装置2を押し下げることで、事前に登録している利用者の血管と一致するかどうかを判定し、一致すれば自動的にログインすることが可能となる。これにより、自然な操作の中で携帯端末のセキュリティを高めることが可能となる。
他のアプリケーションとしては、ネット決済時の本人確認や各種アプリケーションソフトの個人ごとのカスタマイズ設定の呼び出しなど、本人を特定することで実現できる各種機能のほか、血管パターンのランダム性や血管パターンの照合結果を利用した、占いやゲームなどのアミューズメントソフトにも活用できる。例えば、登録時のパターンに対してより再現性の高い指の提示が実施できれば高価なアイテムが手に入る、あるいは高い攻撃力を発揮できるなどのオンラインソーシャルゲームへの活用も考えられる。また、操作ボタンはボタンに限らず、センサ等の操作部であればボタン形状に留まるものではない。
本実施例は、図17Aおよび図17Bおよび図17Cは他の実施例に記載の構成を、スマートフォン、タブレットなどの端末の保護ケースにミラーと光源とを具備し、携帯端末に本来備えられている撮像装置を利用した生体認証装置の一実施例である。
スマートフォンあるいはタブレット端末などの携帯端末160には備え付けのカメラ9が搭載されている。一般的には、タッチパネル161が機器の中央に位置し、機器の側面部や前面の下側には各種操作用のボタン170が搭載されている。さらには外部機器との通信や充電などに利用されるインターフェイスコネクタ171が具備されている。そして、機器前面あるいは背面の上部には小型カメラ9が搭載されている。
図17Aおよび図17Bに示される通り、本発明において保護ケース177には装置上部に搭載されているカメラ9の視野に含まれる位置に移動することができる回転部172が具備されており、回転部172にはミラー173と回転検知スイッチ174が取り付けられており、回転検知スイッチ174によって回転部172の回転状態を検知できる。また回転部172には光源3が具備されており、ここでは可視光の赤、緑、青の3波長を照射できるLEDが搭載されている。この光源の電源は、前記インターフェイスコネクタ171と回転部172とを接続する信号ケーブル175を介して与えられる。この信号ケーブル175は、前述の回転検知スイッチ174の状態を携帯端末内の処理装置に通知する際にも利用される。
利用者は、端末へのログインやネット決済時など、個人認証を必要とする場面になると、指で回転部172を手前側に回転させる。このとき、図17Cに示す通りミラー173がカメラ9の上部の一部を覆い隠し、カメラ9はミラー173を介してタッチパネル161に接している指を撮影することができる。また光源3は指1を照射することができる。またミラー173により覆われていない部分は通常通り周囲を撮影することができ、この中に利用者の顔176などを映し出すことも可能となる。利用者によって回転部172が回転されると信号ケーブル175とインターフェイス171を通じて、携帯端末160内の処理装置にミラーの回転が通知され、この状態を検知すると生体認証が開始される。
図18Aおよび図18Bは、タッチパネルに表示された指のガイダンスの一例である。図18Aに示されるように、利用者はこのガイダンスの指先設置マーク180に指を合わせることで、正しい位置に指を提示することができる。正しい位置に指が置かれたことを検知すると、光源3より指に向けて3つのLEDを交互に照射し、3つの波長による3枚の可視光画像を得ることができる。この3枚の画像より、血液の吸収率の関係性に基づいて血管部分のみを強調する、あるいは独立成分分析などの統計的手法に基づいて血管部のみを獲得することができる。
なお、タッチパネル161は指の接触位置を検知することができるため、指先設置マーク180との位置ずれをガイダンスしたり、あるいは指先設置マーク180に設置されていなくても認証できる許容範囲に指先が設置されていれば認証を開始することができる。また、この指先設置マーク180を動的に移動させることで、様々な角度の指を撮影することができ、これらを登録しておくことで指の位置にばらつきが生じても認証することが可能となる。このとき、光源3は、広角な指向性を持たせておくことで、指が任意の位置に存在する場合でも均一に指への照射を可能とすることができる。
また、図18Bに示すように、現行のスマートフォンなどで広く実施されている線パターンを入力してセキュリティを高めるパスワード入力と、本実施例における指の提示を組み合わせて行なうと、より強固なセキュリティを実現できる。特に、指を動かしながら様々な角度からの指画像が撮影できるため、さらなる指の構造情報を獲得でき、認証精度を高めることが可能となる。例えば、Structure from Motion に代表されるような3次元形状の計測技術を適用し、指の立体構造を推定して生体認証に利用できる情報量が増加したり、指の位置がずれて提示された場合においても様々な角度の指画像を登録することで位置ずれの許容度が高まるといった効果が期待できる。
同様に、指先設置マーク180を表示させずに、任意の位置に指を置かせることで認証を実施しても良い。指の位置はタッチパネル161より検出できるため、登録時の指の位置と入力時の指の位置とを画像の拡大縮小などの変形によって両者が一致するように正規化でき、認証精度の劣化を抑えながら利用者の提示に対する利便性を向上することが可能となる。
図19は、ミラーに反射して映し出された利用者の指と顔の撮影状態の一例を示した図である。
利用者が提示した指の画像190には、爪191、指関節のしわ192、指1の色、指1のサイズ・位置情報193、指静脈パターン194など、様々な情報が含まれている。上述の通り、ミラー173はカメラ9の上部の約半分程度を覆うだけであるため、画像の一部にはミラーによって反射した携帯端末の手元が映され、残りの領域には直接カメラ9にて撮影できる背景195が映り、その中に利用者の顔176が上下反転で映し出される。これらを一般的な画像処理の手法によって抽出し、それぞれの要素について類似度を求め、最終的に照合結果を合成することで、登録と入力との指の類似度を計算することができる。
なお、上述の実施例では、指に光源を照射する形態について示したが、周囲の可視光を活用し、光源3を不要としても良い。この場合、明度の低い場所での使用に制限が加わるものの、低消費電力となり低コスト化に寄与する。
また、上述の実施例では、携帯ケースにミラーと光源を具備する形態について示したが、フロントカメラの光軸を傾け、タッチパネル付近を撮影できるように設置しても同様の効果が得られる。また、光源も携帯端末に具備することで同様の効果を得ることができる。光軸を傾けたフロントカメラを別途搭載する場合にコストや設置スペースに問題がある場合には、光軸を傾けることのできるフロントカメラを搭載しても良い。この場合、例えば光軸を傾けるためのスライドスイッチを搭載し、光軸の傾いていない通常のフロントカメラの光軸を、スライドスイッチの操作によって機械的あるいは電気的に傾けることで上述のようにタッチパネル上部が画角に含まれると共に、その操作に伴って認証処理を開始する。これにより、フロントカメラを複数搭載することなく上述の実施例とほぼ同等の機能を得ることができる。
本発明は、小型で利便性に優れた高精度な生体認証装置を実現することができ、個人認証装置として有用である。
1・・・指、2・・・入力装置、3・・・光源、9・・・カメラ、10・・・認証処理部、11・・・中央処理部、12・・・メモリ、13・・・インターフェイス、14・・・記憶装置、15・・・表示部、16・・・入力部、17・・・スピーカ、18・・・画像入力部、21・・・カメラ筐体支持部、22・・・アクリル板、23・・・圧力センサ、41・・・構造化要素、42・・・しわの陰影、43・・・しわ成分、44・・・血管の陰影44、51・・・血管、52・・・真皮、53・・・皮膚のしわ、80・・・2次元投影血管像、81・・・血管パターン、82・・・血管パターン、83・・・立体的な血管像、100・・・指画像、101・・・指輪郭、102・・・指先、103・・・圧迫領域、104・・・圧力ベクトル、110・・・照合データ、111・・・血管パターン、160・・・携帯端末、170・・・操作用のボタン、171・・・インターフェイスコネクタ、172・・・回転部、173・・・ミラー、174・・・回転検知スイッチ、175・・・信号ケーブル、176・・・顔、177・・・保護ケース、180・・・指先設置マーク、190・・・指の画像、191・・・爪、192・・・指関節のしわ、193・・・サイズ・位置情報、194・・・指静脈パターン、195・・・背景

Claims (3)

  1. 指が設置される設置領域と、
    前記設置領域に提示された指に光を照射する光源と、
    前記指を透過した前記光源からの光を撮影する撮像部と、
    前記提示領域に設置された指からの圧力を検知する圧力検知部と、
    前記撮像部によって撮像された画像を処理する画像処理部と、を備え、
    前記画像処理部は、
    前記画像に含まれる、前記指からの圧力が所定の圧力値以上となる圧迫領域の位置を取得し、
    予め記憶された複数の登録画像の夫々に含まれる登録圧迫領域の位置と、前記圧迫領域の位置との類似度を算出し、
    前記算出された類似度に基づいて、前記複数の登録画像のうち、前記画像と照合を行うことで血管パターンの類似性を判定するための登録画像を選択して絞り込み、前記画像に含まれる血管パターンと、前記絞り込まれた登録画像に含まれる血管パターンとを照合し、個人の認証を実行し、
    前記光源は、
    第1波長の光と、前記第1波長と波長の異なる第2波長の光とを夫々照射し、
    前記撮像部は、
    前記第1波長の光から第1画像を撮影し、前記第2波長の光から第2画像を撮影し、
    前記画像処理部は、
    前記第1画像の輝度値と前記第2画像の輝度値を比較して、血管画像における血管領域の情報を分離し、
    前記血管領域の情報を用いて、前記第1画像から前記血管領域の情報が除去された血管除去画像を作成し、
    前記血管除去画像に含まれるノイズ情報を抽出し、
    前記ノイズ情報を用いて、前記第1画像から前記ノイズ情報を除去して認証用血管画像を取得することを特徴とする請求項1記載の血管画像取得装置。
  2. 前記画像処理部は、前記ノイズ情報の除去を、前記血管除去画像に重畳される表皮成分の除去手法を適用して行い、前記認証用血管画像と、予め登録された登録データとの照合を行うことを特徴とする請求項記載の血管画像取得装置。
  3. 前記第2波長の光は、前記第1波長の光よりも血液による光の吸収率が小さい光であって、
    前記画像処理部は、
    前記認証用血管画像と前記第2画像とを比較して、前記認証用血管画像に含まれる血管パターンの三次元方向の形状を算出することを特徴とする請求項記載の血管画像取得装置。
JP2013155158A 2013-07-26 2013-07-26 血管画像撮影装置及び端末 Active JP6165540B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013155158A JP6165540B2 (ja) 2013-07-26 2013-07-26 血管画像撮影装置及び端末
EP14178529.5A EP2848196B1 (en) 2013-07-26 2014-07-25 Apparatus for blood vessel imaging
CN201410363725.7A CN104346604B (zh) 2013-07-26 2014-07-28 血管图像获取装置以及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013155158A JP6165540B2 (ja) 2013-07-26 2013-07-26 血管画像撮影装置及び端末

Publications (2)

Publication Number Publication Date
JP2015026228A JP2015026228A (ja) 2015-02-05
JP6165540B2 true JP6165540B2 (ja) 2017-07-19

Family

ID=51224812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013155158A Active JP6165540B2 (ja) 2013-07-26 2013-07-26 血管画像撮影装置及び端末

Country Status (3)

Country Link
EP (1) EP2848196B1 (ja)
JP (1) JP6165540B2 (ja)
CN (1) CN104346604B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6657593B2 (ja) * 2015-05-08 2020-03-04 富士通株式会社 生体撮影装置、生体撮影方法及び生体撮影プログラム
JP6578843B2 (ja) 2015-09-18 2019-09-25 富士通株式会社 システム、装置、方法およびプログラム
US10121051B2 (en) 2015-10-16 2018-11-06 Novatek Microelectronics Corp. Optical apparatus and a method for identifying an object
JP6707943B2 (ja) * 2016-03-25 2020-06-10 富士通株式会社 生体画像処理装置及び生体画像処理方法
WO2018000131A1 (zh) 2016-06-27 2018-01-04 北京小米移动软件有限公司 指纹验证方法及装置
JP6771968B2 (ja) * 2016-07-03 2020-10-21 キヤノン株式会社 情報取得装置、撮影装置及び情報取得方法
CN110312473B (zh) * 2016-12-21 2023-04-07 艾森利克斯公司 用于认证样本的装置和方法及其使用
EP3372163A4 (en) * 2016-12-23 2019-07-10 Obschestvo S Ogranichennoi Otvetstvennostyu "Nauchnoissledovatelsky Tsentr "Prosoftsistemy" IMAGE CAPTURE DEVICE FOR THE VEINS OF PALM
CA3052786A1 (en) 2017-02-07 2018-08-16 Essenlix Corporation Compressed open flow assay and use
CN111433606A (zh) 2017-02-09 2020-07-17 Essenlix公司 采用不同间距高度的测定
JP6931914B2 (ja) * 2017-03-22 2021-09-08 株式会社モフィリア 生体情報取得装置、生体情報取得方法、及び、プログラム
US11045123B2 (en) 2017-03-29 2021-06-29 Graftworx, Inc. Wearable device with multimodal diagnostics
JP6759152B2 (ja) * 2017-05-24 2020-09-23 キヤノン株式会社 画像処理装置、方法、プログラム及びシステム
US10839240B2 (en) * 2017-06-22 2020-11-17 Fingerprint Cards Ab Method of enrolling a fingerprint
WO2019055520A1 (en) 2017-09-13 2019-03-21 Graftworx, Inc. SYSTEMS AND METHODS FOR DETECTION OF PERIPROTETIC INFECTION
US11237113B2 (en) 2017-10-26 2022-02-01 Essenlix Corporation Rapid pH measurement
US11609224B2 (en) 2017-10-26 2023-03-21 Essenlix Corporation Devices and methods for white blood cell analyses
US10807095B2 (en) 2017-10-26 2020-10-20 Essenlix Corporation Making and tracking assay card
KR102544668B1 (ko) * 2018-03-12 2023-06-16 삼성전자주식회사 혈압 측정 장치 및 방법
KR102065912B1 (ko) * 2018-05-09 2020-01-14 주식회사 슈프리마 압력 감지를 이용한 사용자 인증 영상 획득 장치 및 방법
JP7197017B2 (ja) * 2019-08-01 2022-12-27 日本電気株式会社 処理装置、システム、生体認証システム、処理方法、及びプログラム
CN111176454B (zh) * 2020-01-07 2021-09-03 福建天晴数码有限公司 结合摄像头的终端锁屏方法、存储介质
JP7188780B2 (ja) * 2020-01-30 2022-12-13 Necプラットフォームズ株式会社 端末装置
JP2022068055A (ja) * 2020-10-21 2022-05-09 株式会社日立製作所 生体認証装置および生体認証方法
CN112101332B (zh) * 2020-11-23 2021-02-19 北京圣点云信息技术有限公司 一种基于3d指静脉的特征提取和比对方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274602A (ja) * 1993-03-18 1994-09-30 Fujitsu Ltd 指紋登録・照合装置
JPH0765166A (ja) * 1993-08-27 1995-03-10 Matsushita Electric Ind Co Ltd 個人識別装置
JPH1139478A (ja) * 1997-07-24 1999-02-12 Mitsubishi Electric Corp 指紋照合装置及びその照合処理方法
DE10128717A1 (de) * 2001-06-13 2002-12-19 Tst Touchless Sensor Technolog Verfahren und Vorrichtung zur Erkennung natürlicher Haut
JP3770241B2 (ja) * 2003-03-04 2006-04-26 株式会社日立製作所 個人認証装置及び個人認証方法
JP4207717B2 (ja) * 2003-08-26 2009-01-14 株式会社日立製作所 個人認証装置
JP2005149344A (ja) * 2003-11-19 2005-06-09 Ricoh Co Ltd 指紋認証装置及び指紋認証処理プログラム
JP2006011591A (ja) * 2004-06-23 2006-01-12 Denso Corp 個人認証システム
CN1770173B (zh) * 2004-11-05 2011-05-04 株式会社日立制作所 手指认证装置
JP4582406B2 (ja) * 2004-12-28 2010-11-17 ソニー株式会社 生体撮像装置
JP4735104B2 (ja) * 2005-07-28 2011-07-27 カシオ計算機株式会社 指紋照合装置、指紋照合処理プログラム、および画像照合方法
JP4910644B2 (ja) * 2006-11-02 2012-04-04 ソニー株式会社 撮像装置
WO2009053920A1 (en) * 2007-10-25 2009-04-30 Koninklijke Philips Electronics N.V. Monitoring the degree of hydration of the human body
KR101067098B1 (ko) * 2009-09-11 2011-09-22 삼성전기주식회사 생체인증장치
JP5451540B2 (ja) * 2009-10-16 2014-03-26 日立オムロンターミナルソリューションズ株式会社 生体認証装置および生体認証方法
CN101874738B (zh) * 2009-12-23 2011-11-09 中国科学院自动化研究所 基于压力累积足印图像的人体生理分析与身份识别的方法
JP5213908B2 (ja) * 2010-06-03 2013-06-19 日立オムロンターミナルソリューションズ株式会社 生体認証ユニット
JP5809792B2 (ja) * 2010-11-04 2015-11-11 株式会社日立製作所 生体認証装置および方法
JP5920589B2 (ja) * 2010-11-08 2016-05-18 日本電気株式会社 生体認証装置、及び生体認証方法
JP5459263B2 (ja) 2011-05-20 2014-04-02 株式会社日立製作所 血管画像撮影装置
JP5751269B2 (ja) * 2013-02-22 2015-07-22 株式会社日立製作所 個人認証装置及び方法

Also Published As

Publication number Publication date
EP2848196A1 (en) 2015-03-18
CN104346604B (zh) 2017-09-15
EP2848196B1 (en) 2018-06-27
JP2015026228A (ja) 2015-02-05
CN104346604A (zh) 2015-02-11

Similar Documents

Publication Publication Date Title
JP6165540B2 (ja) 血管画像撮影装置及び端末
CN107949863B (zh) 使用生物体信息的认证装置以及认证方法
KR101947538B1 (ko) 인증 장치, 및 인증 방법
JP6650946B2 (ja) モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
KR102561723B1 (ko) 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
JP5295848B2 (ja) 個人認証装置
JP6320277B2 (ja) 生体認証装置
JP5870922B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2009544108A (ja) 多重生体認証のマルチスペクトル画像
CN111462379A (zh) 一种含掌静脉和人脸识别的门禁管理方法、系统及介质
US10853624B2 (en) Apparatus and method
JP6160148B2 (ja) 生体情報入力装置、生体情報入力プログラム、生体情報入力方法
CN112232159B (zh) 指纹识别的方法、装置、终端及存储介质
US11837029B2 (en) Biometric authentication device and biometric authentication method
Crisan et al. Low cost, high quality vein pattern recognition device with liveness Detection. Workflow and implementations
JP2013225324A (ja) 個人認証装置、画像処理装置、端末、及びシステム
JP7002348B2 (ja) 生体認証装置
KR20220061844A (ko) 촬영 장치, 인증 장치 및 생체 촬영 방법
WO2023210081A1 (ja) 生体認証システムおよび認証方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170110

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170621

R150 Certificate of patent or registration of utility model

Ref document number: 6165540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150