JP6792986B2

JP6792986B2 - 生体認証装置

Info

Publication number: JP6792986B2
Application number: JP2016187990A
Authority: JP
Inventors: 三浦　直人; 直人三浦; 友輔松田; 渓一郎中崎; 洋野々村; 野々村　　洋; 長坂　晃朗; 晃朗長坂; 宮武　孝文; 孝文宮武
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2016-09-27
Filing date: 2016-09-27
Publication date: 2020-12-02
Anticipated expiration: 2036-09-27
Also published as: WO2018061786A1; JP2018055231A

Description

本発明は、生体情報を用いて個人を認証する認証システムに関し、特に生体情報の偽造耐性と秘匿性とに優れ、高速で高精度な認証技術に関する。

様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用するため優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。

近年では、携帯電話機、ノート型ＰＣ（Personal Computer）、スマートフォンやタブレット端末などの携帯端末、ロッカー、金庫、プリンターなどの機器に生体認証装置を搭載し、各機器のセキュリティを確保する事例が増加している。また、生体認証が適用される分野として、入退室管理、勤怠管理、コンピュータへのログインなどがあるが、近年では決済やイベント会場での本人確認などにも生体認証システムが導入されてきている。将来的には、たとえば自宅でイベントのチケット購入を行う際に生体認証を実施し、インターネットを介して登録データをサーバに転送し、会場で手ぶらのまま本人確認を行う場面も想定される。

このように、生体認証装置の利用シーンが多様化すると、認証システムの信頼性を高く維持すること、特に登録データの安全な管理や正しいデータの登録を保証することが従来以上に重要になると考えられる。たとえば個人のスマートデバイスを利用して本人確認を行う場面においては、一般的なオフィス向けの入退室管理システムとは異なり、生体の登録作業を認証システムの管理者が実施することはできず、代わりに利用者自身で登録作業を行う必要がある。このとき、利用者が異物あるいは偽造された生体を不正に登録したり、部外者が不正に登録データを傍受・改ざんしたりすることを防止する必要がある。そのため、提示された生体が真の生体であることを判定する技術、そして秘匿性・耐改ざん性の高い生体情報の登録管理を実現する技術が望まれている。また、登録端末と認証端末とがネットを介して連携したり、異なる認証システム同士が連携したりする場合は、多数の認証端末が認証サーバ内の登録データにアクセスすることになる。そのため、登録データを安全に公開可能な情報に変換するデータ保護技術の適用が必須となる。

生体認証システムに対する攻撃回避およびデータ保護の先行技術には、提示された顔画像が偽造であるか否かを判定する技術として非特許文献１が、また登録した生体情報を安全に公開する技術として特許文献２がある。

Jukka Maatta, et al., "Face Spoofing Detection from Single Images Using Micro-Texture Analysis," IJCB 2011.

特許公開2015-226323号公報

入力される生体情報の信頼性を高め、かつ生体情報の秘匿性を維持しながら実用性の高い認証処理を実施するためには、提示された被写体が真の生体であることを判定する技術と、暗号化された生体情報を高速かつ高精度に照合する技術とが必要となる。

非特許文献１に記載の生体認証技術では、カメラで撮影された顔が実物の顔であるか印刷された顔であるかを判別するために、顔画像の局所テクスチャ特徴であるLBP (Local Binary Pattern) 特徴量を抽出し、このヒストグラムをSVM (Support Vector Machine) で学習することで、実物の顔か印刷された顔画像かを判別している。しかしながら、攻撃対象を紙への印刷に限定しており、それ以外の脅威への対応が可能かどうかの示唆はなされていない。また、指先を用いた生体認証の偽造検知に特化した技術開示はなされていない。

特許文献２に記載の生体認証技術では、誤り訂正符号に基づいたプライバシーを保護する生体認証に関する技術の記載があるが、秘匿された生体の特徴量を高速かつ高精度に照合するための技術開示はない。

そこで本発明では、様々な場面で利用できる信頼性の高い認証システムと、高速かつ高精度な生体認証を実現するべく、提示された被写体が真の生体であることを高精度に判別すると共に、生体情報を秘匿しながらも高速かつ高精度に照合することが可能な生体認証装置を実現することを目的とする。

上記の目的を達成するため、本発明においては、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像に映る生体の輝度値の時間的変化を獲得し、画像に撮影された生体のテクスチャ特徴を抽出し、輝度値の時間的変化およびテクスチャ特徴に基づき、生体が真の生体であることを判定する生体判定部を有する構成の生体認証装置を提供する。

また、上記の目的を達成するため、本発明においては、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像に映る生体が真の生体であることを判定する、判定基準の異なる複数の生体判定部と、画像から生体の生体特徴を抽出する特徴抽出部と、生体特徴の類似度を比較する照合部と、を有し、複数の生体判定部が、生体が真の生体であることを判定した場合、特徴抽出部は生体の生体特徴を抽出し、照合部が抽出された生体特徴と登録データの類似度を比較する構成の生体認証装置を提供する。

更に、上記の目的を達成するため、本発明においては、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像から生体の生体特徴を抽出する特徴抽出部と、抽出した生体特徴を、互いに独立な生体特徴量で構成された位置補正特徴量と照合特徴量に分割し、位置補正特徴量によって生体の位置ずれ量を得、位置ずれ量を用いて照合特徴量によって生体特徴と登録データとの類似度を比較する照合部とを備える構成の生体認証装置を提供する。

本発明によれば、生体認証装置に入力される生体が実際の生体であることを検知できる。

実施例１に係る、生体認証システムの全体の構成を示す図である。実施例１に係る、生体認証システムの装置構成を説明する図である。実施例１に係る、脈拍検出の処理フローの一例を示す図である。実施例１に係る、指先領域を検出する一手法の説明図である。実施例１に係る、脈動信号から脈拍検出を行う一手法の説明図である。実施例１に係る、異物判定を行う概略処理フローの一例を示す図である。実施例１に係る、画像の局所テクスチャ特徴を抽出する一手法の説明図である。実施例１に係る、画像の局所テクスチャ特徴からテクスチャ特徴のヒストグラムを獲得する一手法の説明図である。実施例１に係る、テクスチャ特徴のヒストグラムから異物判定を行うための機械学習の学習と判定の処理フローの一例を示す図である。実施例１に係る、手指領域と背景領域とを分類するための局所的な色特徴量を抽出する一手法の説明図である。実施例２に係る、サーバで公開された登録データを用いた認証システムの説明図である。実施例２に係る、安全に公開可能な生体特徴を用いた認証処理の処理フローの一例を示す図である。実施例３に係る、赤外透過撮影に基づく指静脈認証装置の装置構成の一例を示す図である。

本発明を実施するための形態である各種の実施例を図面に従い説明する。なお、本明細書において、生体特徴とは、指静脈や指紋、関節模様、更には皮膚模様、指輪郭、脂肪紋、指の長さの比率、指幅などの解剖学的に異なる生体の特徴を意味する。

実施例１は、指の血管を用いた生体認証システムの実施例である。すなわち、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を含み、認証処理部は、画像に映る生体の輝度値の時間的変化を獲得し、画像に撮影された生体のテクスチャ特徴を抽出し、輝度値の時間的変化およびテクスチャ特徴に基づき、生体が真の生体であることを判定する生体判定部を有する構成の生体認証システムの実施例である。

図１は、本実施例の指の血管を用いた生体認証システムの全体の構成の一例を示す図である。尚、本実施例の構成はシステムとしてではなく、全てまたは一部の構成を筐体に搭載した装置としての構成としてもよいことは言うまでも無い。装置は、認証処理を含めた個人認証装置としても良いし、認証処理は装置外部で行い、血管画像の取得に特化した血管画像取得装置、血管画像抽出装置としてもよい。また、本構成はスマートフォンやタブレットに搭載の汎用カラーカメラを用いた血管画像取得装置とみなしてもよい。また、後述のように端末としての実施形態であってもよい。少なくとも、生体を撮影する撮像部と、撮影された画像を処理し、生体の認証を行う認証処理部を備える構成を生体認証装置と呼ぶ。

図１に示す本実施例の生体認証システムは、撮像部である入力装置２、認証処理部１０、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８を含む。入力装置２は、その筐体に設置された光源３及び筐体内部に設置された撮像装置９を含む。認証処理部１０は画像処理機能を備える。

光源３は、例えば、ＬＥＤ（Light Emitting Diode）などの発光素子であり、入力装置２の上部に提示された指１に光を照射する。光源３は実施形態によって様々な波長が照射できるものであっても良く、また指１の上部に設置し、生体の透過光を照射できるものであっても良い。また、光源３が搭載されていない構成としても良い。撮像装置９は、入力装置２に提示された指１の画像を撮影する。撮像装置９はカラーカメラであってもよく、赤外カメラであってもよい。また被写体の距離が計測できる距離カメラを別途搭載してもよい。さらに、指１は複数本であっても良い。
画像入力部１８は、入力装置２の撮像装置９で撮影された画像を取得し、取得した画像を認証処理部１０へ入力する。

認証処理部１０は、中央処理部（ＣＰＵ：Central Processing Unit）１１、メモリ１２及び種々のインターフェイス（ＩＦ）１３を含む。ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することによって入力された画像に対する画像処理、生体が真の生体であることを判定する生体判定、登録処理や認証処理の際に生体特徴を抽出する特徴抽出、生体特徴の類似度を比較する照合等の各種処理を行う。これらの各種処理については後で詳述する。機能メモリ１２は、ＣＰＵ１１によって実行されるプログラムを記憶する。また、メモリ１２は、画像入力部１８から入力された画像などを一時的に記憶する。

インターフェイス１３は、認証処理部１０と外部の装置とを接続する。具体的には、インターフェイス１３は、入力装置２、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８などと接続する。

記憶装置１４は、利用者の登録データなどを記憶する。登録データは、登録処理時に得られる利用者を照合するための情報であり、例えば、指静脈パターンなどの画像データである。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管である指静脈を暗い影のパターンとして撮像した画像である。

表示部１５は、例えば、液晶ディスプレイであり、認証処理部１０から受信した情報を表示する出力装置である。入力部１６は、例えば、キーボードであり、利用者から入力された情報を認証処理部１０に送信する。スピーカ１７は、認証処理部１０から受信した情報を、例えば音声などの音響信号で発信する出力装置である。

図２は、本実施例で説明する指の血管を用いた生体認証技術の登録処理と認証処理の概略フローの一例を示す図である。この登録処理と認証処理は、例えば上述した認証処理部１０のＣＰＵ１１が実行するプログラムによって実現される。

初めに図２上段の登録処理の流れについて説明する。まず、認証処理部１０は利用者に指の提示を促すガイドを表示部１５に表示し、これに従って利用者が指をかざす（Ｓ２０１）。スマートデバイスを認証装置として利用する場合であれば利用者は空中に手指をかざし、指置き台が具備される装置であれば指置き台にかざすことになる。

次に、認証処理部１０は、生体判定部で生体が真の生体であることを判定する生体判定処理を実行する。まず、かざされた生体である手指に対して脈拍検出を行う（Ｓ２０２）。手指の内部を流れる血液は、心拍に合せてその流量が変動する。血液中の組織であるヘモグロビンは光を吸収する特性があり、血流量が変動すると指全体の光の反射率および吸収率が変化する。そのため、生体である指を撮影すると脈拍と同期して赤外画像の輝度値あるいはカラー画像の各色における輝度値が変化し、その変化の大きさは各色によって異なる。一方、異物もしくは偽造指をかざした場合は脈拍に伴う輝度値の変化は見られない。すなわち、生体の輝度値の時間変化を獲得し、この時間的変化に基づき脈拍が検出できるかどうかによって、提示された被写体が本物の指であるか異物であるかを判別することができる。

次に、生体判定部は、生体判定処理の続きとして、被写体のテクスチャ特徴を用いた本物の指（実指）、異物、偽造指の判定を行う（Ｓ２０３）。実指などの本物の生体と、生体ではない異物、偽造された生体、動画で撮影された生体などとは、撮影された画像の特性、特に細かいテクスチャの特徴が異なる。そこで実指や異物、偽造された生体や動画で撮影された指を予め大量に撮影しておき、画像のテクスチャ特徴にどのような差異があるかを機械学習によって学習させ、その情報に基づいて実物の生体か否かを判定する。すなわち、撮影された生体のテクスチャ特徴を抽出し、このテクスチャ特徴に基づき生体が真の生体であることを判定する。

生体判定処理の最後に、上記の脈拍検出とテクスチャ特徴による異物判定とを総合した判定処理を行う（Ｓ２０４）。ここでは脈拍検出とテクスチャ特徴による異物判定の結果が共に本物の生体であると判定された場合に、入力された被写体が本物の生体であると判定する。入力された生体が真の生体であると判定された場合、認証処理部１０は、撮影された生体の画像に対して生体特徴を抽出する特徴抽出処理を行い（Ｓ２０５）、獲得した生体特徴を登録データとしてデータベースに登録する（Ｓ２０６）。そうでない場合は、登録に失敗して終了する（Ｓ２０７）。

続いて図２下段の認証処理の流れについて説明する。まず、認証処理部１０は、表示部１５に利用者に指の提示を促すガイドを表示し、これに従って利用者が指をかざす（Ｓ２１１）。次に、生体が真の生体であることを判定する生体判定処理として、画像のテクスチャ特徴に基づく実指と異物・偽造指の判定を行う（Ｓ２１２）。そして、この結果から実指か否かを判定し（Ｓ２１３）、本物であると判定された場合は生体特徴を抽出する特徴抽出処理を実施し（Ｓ２１４）、類似度を比較する照合処理として、登録データとの照合処理を行い（Ｓ２１５）、最後に認証結果の判定を行う（Ｓ２１６）。もし実指判定で失敗した場合は、認証失敗（Ｓ２１７）として認証処理を終了する。

上述の通り認証処理では、登録処理とは異なり脈拍検出は実施しない。これは、後述の通り脈拍検出は、輝度値変化を例えば５秒程度の一定時間計測する必要があり、一般的に計算時間が長く掛かるためである。そのため、本実施例の生体認証システムの認証処理では、生体が真の生体であることを判定する生体判定として、被写体のテクスチャ特徴による異物判定のみを実施することで、偽造耐性を低下させることなく認証処理時間を短縮する効果が得られる。

本実施例の生体認証システムによると、登録の際には、指の提示を促すガイド表示と、脈拍検出と、テクスチャ特徴による異物検出とが実施されるため、利用者自身で登録作業が実施できると共に、不正な登録を棄却することができる。これにより登録者がオペレータとして登録作業を監督およびサポートすることなく登録処理が実施できるため、認証システムの運用性が高められる。

図３は、図２の登録処理時の脈拍検出（Ｓ２０２）において、かざされた生体の脈拍を検出する処理フローの一実施例である。上述の通り、本実施例の登録処理では脈拍が正しく検出できることが、真の生体であるかどうかを判定するための必要条件のひとつとなる。図３に従って脈拍を検出する処理手順を説明する。

まず、かざされた手指に対する手指領域を検出する（Ｓ３０１）。手指領域の検出方法は様々あるが、本実施例では、後で説明する方法で、画像中の各画素に注目し、その周辺画素との輝度差を色ごとに計算して獲得した特徴量に基づいて、画像中の各画素が手指領域か背景かを決定する。また、手指と背景の境界を手指領域の輪郭線として獲得しておく。

次に、検出した指領域における指先領域部分を見つける指先領域の検出を行う（Ｓ３０２）。脈拍による輝度変化は、特に物理的に末端である指先部分で大きく観測され、S/Nの高い信号を獲得できる。そこで本実施例では、入力された手指画像から指先領域を検出し、その輝度変化を観測することで提示された指の脈拍をより高精度に検出する。

ここで、Ｓ３０２における指先領域の検出方法の一実施例について述べる。まず、図４の（ａ）に示す通り、手指輪郭線６０の指先位置を検出する。指先６１は指の輪郭線６０が大きく曲がる部分であるため、曲線の屈曲している方向側の領域が手指内部領域６２であり、かつ輪郭線６０の曲率が一定値を超えており、かつ最も曲率が大きい位置、すなわち最も屈曲している位置を指先６１と判定する。

続いて、同図の（ｂ）の指先６１の拡大図に示される通り、指先付近の輪郭線に対して直交する直線６３を複数本検出し、その直線が指内部領域６２を通る数の最も多い位置を検出して指先領域の中心の初期位置６４を獲得する。輪郭線に直交する多数の直線６３の交点を用いることで、曲率の高い指輪郭付近のおおよその中心位置を安定して検出できる。

その後、同図の（ｃ）に示す通り、指先領域の中心の初期位置６４よりも指先６１に近い指輪郭線６０を構成する各画素と、指先領域の中心の初期位置６４との距離を複数算出し、各点からの距離の分散を算出し、最も分散が小さくなる指先領域の中心６５を検出する。その方法は、中心の初期位置６４の左右上下方向に微小に移動したときの分散の変化量に基づき、最急降下法によって反復的に探索するなどで実施できる。これにより、指先領域の中心６５を、指輪郭付近の輪郭線から概ね均等な位置に設定することができる。続いて、獲得した指先領域の中心６５を中心点とし、指領域からはみ出さない最大半径の円を求め、これを指先領域６６と定義する。以上の処理により、指先領域を得ることができる。

なお、指先領域の他の決定方法として、上述の手法で指先を検出した後、指先を通るように指の中心軸を獲得し、指先から指の中心軸上の一定距離までの間にある指領域を指先領域として獲得しても良く、また指関節模様を検出し、指先から指関節模様に囲まれる領域を指先領域と定義しても良い。本手法によると、輪郭線が最も屈曲している位置を指先として検出した際の結果には複数の候補が出やすいため安定検出が難しい。

それに対し、上述した本実施例の指先領域の中心を求める方法は、指先位置の検出結果だけでなく、多数の直交する線の情報を手掛かりに指先領域が決定されるため、輪郭線の１点を求める指先検出に比べて安定性の高い検出が可能となる利点がある。また、上記の円領域の定義によって、指の拡大率に時間的な変動が生じても常に同じ位置、同じ面積の領域を検出できる。

次に、図３のフローにおいて、検出した指先領域内部の輝度値により、指先領域の脈動信号を検出する（Ｓ３０３）。ここで、本実施例の脈動信号の検出方法について述べる。ここでは、撮像装置９がカラーカメラである場合の実施例について説明する。まず、赤（Ｒ）／緑（Ｇ）／青（Ｂ）の３色の輝度値について、それぞれ上記で求めた指先領域内部の平均値を求める。次に、それぞれの平均値と、各色の平均値の差分として、Ｒ−ＢとＲ−Ｇの値を獲得する。最後に、Ｒの平均輝度と、Ｒ−ＢおよびＲ−Ｇの差分信号を合計した結果を獲得する。この手法は、血流量が変動する際の輝度値の変化量は色によって異なること、そして外乱光などによる画像ノイズ成分は各色で同時に影響を受ける傾向にあるという事実を利用している。

すなわち、差分信号を算出すると脈動成分が残されるが、ノイズ成分は差分によって除去されるため、脈動成分のみが獲得できる。たとえば、血液量の変動に伴う赤（Ｒ）の輝度の変化量は青（Ｂ）の変化量よりも大きいため、Ｒ−Ｂの差分信号にも脈動が見られる。このとき、たとえば外光の影響によって赤（Ｒ）と青（Ｂ）に同時に類似するノイズが乗ると、差分計算によりノイズ成分のみがキャンセルされる。このように、差分信号を利用することでノイズに強い脈動信号を獲得することが可能となる。

なお、指が移動している場合は上述の脈動信号の検出が不安定になるため、指を静止するようにガイダンスしたり、指の移動中は脈拍検出そのものをスキップするなどの対応を行ってもよい。すなわち、認識処理部１０は、カラーカメラなどの撮像装置９の出力信号を用いて指の移動の検出を行い、指の移動中は、脈拍検出を開始しない、或いは脈拍検出を中断するよう制御することができる。

また、指が完全に静止していることを前提にできる場合、脈動信号は次のように獲得しても良い。まず、指先領域の各画素について、時間的に連続する２つのフレームでの同一位置にある画素の輝度値の差分を算出する。次に、各画素の輝度差分が正か負かを求める。次に、正と判定された画素数と負と判定された画素数との差を、正負に変動した画素数の合計で除算し、これを脈動信号として獲得する。この手法によると、明から暗、もしくは暗から明へと同時に変化した画素数を信号として取り出しているため、血流量の変化がない状態では画像ノイズの影響を受けて正および負への変化を生じる画素数はほぼ同数となるため、当該脈動信号はゼロ付近を推移するが、血液が瞬時的に流れたときに多くの画素の輝度差分は正の値へ変化する。これにより、脈動信号のＳ／Ｎを高める効果がある。

次に、図３のフローにおいて、検出した脈動信号の周期性を判定する（Ｓ３０４）。図５に示すように、実際の指を提示すると脈拍信号強度を示す脈動信号５０には周期的にピークが出現する。これを検出するために、まず、脈動信号５０に対して時間微分５１を算出する。血液量が増大したときに脈動信号が正の方向に大きくなると定義した場合、血流量の流入が生じる部分では時間微分の値が正の方向に大きくなり、血流の流出の状態では負の方向に変化し、また血流の変化がない部分ではゼロとなる。ここで、時間微分５１の値がある閾値を超えたことを判定して脈動とする。閾値を超えていない場合はノイズとみなして周期のカウントを実施しない。

図５の例示においては、脈動#5と#6との間にも僅かな脈動信号が見られるが、時間微分５１が閾値を超えていないため脈動としてカウントされていない。最後に、これを時系列に実施し、前回周期的なピークを検出した時間と今回のピーク検出との時間間隔を獲得し、これを現時点での脈動信号の周期とする。

最後に、脈動信号の脈拍らしさの判定を行う（Ｓ３０５）。まず、脈動信号の周期の妥当性を判定する。ここでは、現在検出されている脈動信号の周期が、予め設定した時間の範囲内にあるかを判定し、範囲内であれば脈動回数のカウント値を一つ増やし、範囲内でない場合は生体に起因する脈動ではないものと判断し、脈動回数のカウント値を一つ減らす。ただしこのカウント値の初期値はゼロであるとする。図５の最下段にカウント値を示した。なお、上述した脈動信号の周期に関する予め設定した時間の範囲は、一般的な人間の脈拍の正常範囲、たとえば脈拍が１分間で４０回から１２０回の範囲が正常と定義した時、その時間範囲は０．５秒から１．５秒の間、と決定することができる。

次に、脈動回数を連続して計測し、脈拍であるかどうかを判定する。連続的に脈動回数のカウントを行い、その値がたとえば５回となったとき、この脈動信号が生体に起因する信頼性の高い脈拍であるとみなせる。図５の例では、途中で周期が上記の正常範囲から外れるため、該当箇所でカウント値が減らされている。続いて、脈動のカウント値が一定の閾値を超えたかどうか、すなわち脈拍らしさが高いかを判定し（Ｓ３０６）、そうであれば脈拍検出成功とする（Ｓ３０７）。一方、一定時間以内に脈拍検出が成功しない、すなわちあらかじめ設定したタイムアウト時間を過ぎた場合、脈拍検出失敗となる（Ｓ３０８）。なお、脈動信号のピーク値の周期性の検出は、FFT (First Fourier Transform) やMUSIC法 (Multiple Signal Classification) などの周波数解析に基づいて実施しても良い。

また、外光などの瞬きが脈拍と誤って判定されないよう、たとえばＲ／Ｇ／Ｂのカラー画像を３枚の画像とみなし、独立成分分析（Independent Component Analysis, ICA) などの手法によって独立的に変動した信号成分から脈動信号を獲得することも可能である。

図６は、図２のＳ２０３、Ｓ２１２で説明した画像のテクスチャ特徴に基づく実指、異物、偽造指判定の処理フローの一例を示す。上述の手法の登録処理で脈拍が観測できた場合であっても、必ずしも撮影されているものが本物の生体であるという訳ではない。そこで、本実施例の構成の登録処理においては、異物検出の精度をより高めるため、画像のテクスチャ特徴により実指、異物、偽造指かどうかを判定する処理を併用する。

はじめに、画像のテクスチャ特徴として、上述の手法で獲得した手指内部領域におけるLBP特徴量を獲得する（Ｓ６０１）。なお、LBP特徴量を抽出する領域は、手指内部領域全体であってもよく、処理の高速化および安定化のため、認証用の特徴量を抽出する領域に限定してもよい。本実施例では、テクスチャ特徴として一般的に知られているLBP (Local Binary Pattern) に基づくテクスチャ特徴量を用いる。LBPとは、注目している画素とその近傍の画素の輝度値の大小をコード化した情報である。

最も基本的なLBPの獲得方法は、図７の（ａ）に示す通り、注目画素とその8近傍画素１２０との輝度値の大小をコード化するものであり、具体的には以下の方法で獲得する。まず、注目画素とその左上の近傍画素の輝度値を比較し、注目画素の輝度値の方が大きい場合は０、同じか小さい場合は１を与える。次に注目画素とその真上の近傍画素とを比較して同様に０または１を与える。次に注目画素とその右上の近傍画素とを比較して同様に０または１を与える。このように、左上の近傍画素から開始して時計回りに注目画素との比較を行うと、８個の０または１の値が得られる。０または１のコードを得られた順に上位ビットから下位ビットへ並べると、１つの注目画素に対して8ビットの数値が得られる。これが注目画素に対する基本的なLBPコード１２１である。

図７の（ａ）の例では、２進数表示で(01010011)₂、１０進数では８３という値が得られている。LBPの値を獲得すると、注目画素の近傍がどのようなテクスチャであるかを大まかに推定できる。たとえばLBPが０、すなわち2進数表示で(00000000)₂となる場合、注目画素はその8近傍すべての画素よりも輝度値が高いことを表しており、すなわち注目画素の位置に明るい輝点が観測されていることを意味する。同様に、左から右に向かって輝度値が低下する場合や斜め右上から斜め左下に向かって輝度値が低下する場合など、最大で256パターンのテクスチャ情報を表現することができる。

上述の基本的なLBPは、左上の画素から時計回りにコード化したものであるため、画像が回転した場合は異なる結果となる。これを解決するため、上述のLBPを拡張し、回転不変LBPを獲得することもできる。回転不変LBPは、8近傍すべての画素から時計回りに8通りのコード化を行い、これが最小値となるLBPコードを獲得したものである。図７の（ｂ）に例示した上段と下段の画素値１２０は、下段の画像が上段に対して右回りに９０度回転したものである。基本的なLBPは左上の位置から順にコード化するため、回転した画像に対する結果は上下段で異なるが、一方でコード化した結果が最小となる位置からコード化を行うと、回転した画像に対して同じコードが得られる。これが回転不変LBP１２２である。

しかしながら、回転不変LBPであっても被写体の拡大率が異なるとコード化の結果も異なる。そこで図７の（ｃ）に示す通り、注目画素に対する８近傍画素（距離１、図中P1と記載の画素）との比較だけではなく、距離２だけ離れた位置の円周上の８点（図中P2）、および距離４だけ離れた位置の円周上の８点（図示省略）についても比較を行い、８ビットのコードを３通り獲得する。このように得たLBPをここでは拡大回転不変LBPと呼ぶ。本実施例では、この拡大回転不変LBPを獲得し、異物判定に利用するものとする。なお、上述の距離の値と獲得するコード数は、上記では利用しなかった距離３だけ離れた位置の円周上の８点（図中P3）を使ったり、判別精度が最大になるように設定したり、処理速度が高速になるように設定したりするなど、任意に設定することができる。

次に、図６のフローにおいて、LBPヒストグラムを獲得する（Ｓ６０２）。上述の通り抽出した拡大回転不変LBPは、注目したある１画素に対して計算されるが、画像に映る指領域部分は多数の画素で構成されるため、１枚の指画像から多数のLBPを抽出することができる。複数のLBPを判定に用いることで信頼性の高い特徴量を獲得できるが、その１手法として本実施例ではLBPの正規化ヒストグラムを作成する。正規化ヒストグラムとは、獲得したLBPの値が算出した画素数のうち何回発生したかを保持する頻度分布であり、また指内部領域の面積によってLBPを算出する画素数が異なることから、全画素数を1に正規化したとき、各LBPの値が全体のどれだけの比率で出現したかという値に換算したものである。

本実施例における拡大回転不変LBPは３つの８ビットコードで構成されるため、各コードの取り得る値は０から２５５の２５６通りであり、図８に示す通り、各コードの値に対するヒストグラムは２５６次元となる。ここでは、注目画素からの３通りの距離についてLBP₁、LBP₂、LBP₄を求めているため、３つそれぞれに対して２５６次元のヒストグラムが獲得できる。ここでは距離iから獲得した拡大回転不変LBPのヒストグラムを、HLBP_iと表している。本実施例では、HLBP₁とHLBP₂とHLBP₄をそれぞれヒストグラム化したものを順番に並べて７６８次元のヒストグラムとする。図８ではこのLBPヒストグラムをHLBP_1,2,4と示している。

図６のフローの最後に、上述のヒストグラムより実指・異物・偽造指判定を行う（Ｓ６０３）。獲得したヒストグラムの分布には、細かいごま塩ノイズや滑らかな輝度変化の有無などに応じて、特定の次元の頻度が高いなどの特徴が見られる。すなわち、ヒストグラムによって異物か実際の指であるかを判定することができる。ヒストグラム特徴より本物の指か異物・偽造指であるかの判定方法の一例としては、多数の本物の指画像と異物・偽造指画像とを集め、ヒストグラム特徴量から本物の指か否かを高精度に判定するため、機械学習によって判別用のパラメータを獲得し、得られた判定用パラメータを用いて判定する方法がある。本実施例では、機械学習の一つであるランダムフォレストに基づく手法を例示して説明する。

図９は、拡大回転不変LBPとランダムフォレストに基づくパラメータ学習を行う学習処理フローと、判定処理フローの一実施例である。初めに図９上段に示す学習処理フローについて説明する。まず、様々な異物を撮影した画像データベースと、多数の実物の指を撮影した画像データベースとを用意する（Ｓ９０１）。このとき、すべての画像に対してその被写体が異物であるか実物の指であるかを識別するためのラベルを付与しておく。

次に、用意された全画像データより、指領域を検出し、指領域内の上述したテクスチャ特徴であるヒストグラム特徴量を抽出する（Ｓ９０２）。すなわち、指の領域であると判定された画素に対し、上述の通り拡大回転不変LBPを抽出し、全画素の情報を７６８次元のヒストグラムに変換する。

次に、画像より抽出したテクスチャのヒストグラム特徴量を学習データとしてランダムフォレストに入力して学習する（Ｓ９０３）。ランダムフォレストは、複数の決定木によって入力を特定のクラスに分類するための分類器であり、各決定木で得られた分類結果に対する多数決あるいは重み付け評価値によって最終的な分類結果を獲得する。各決定木においては、画像から抽出された特徴量のうち特定の次元の値の大きさにより入力データを２分木の左右のノードどちらかに振り分けてその子ノードに移動し、同様にまた別の特定の次元の値の大きさに応じて左右に振り分けていき、最終的に葉ノードに到達した時の分類結果をその入力の分類結果とみなす。このとき、木の各ノードに対しては、どの次元を選択するか、そしてその次元の値に応じて左右に振り分ける閾値をどの値にするか、について、最も分類結果の正解率が高くなるように決定する必要がある。ランダムフォレストの学習フェーズではこれらのパラメータが乱数によって決定されるが、一般的な手法であるため詳細は割愛する。

その後、学習結果を十分に収束させるため反復して学習を行わせるが、その回数が所定回数を満たしているかを判定する（Ｓ９０４）。所定回数だけ学習を反復させ終えた場合は、学習結果として得られたパラメータを判定処理向けのランダムフォレストの最終結果として確定し（Ｓ９０５）、学習処理を終了する。

次に、図９下段に示す判定処理フローについて説明する。まず、入力された未知の画像より指の領域を検出し、指領域内のテクスチャのヒストグラム特徴量である拡大回転不変LBPヒストグラムを抽出する（Ｓ９１１）。続いて判定用ランダムフォレストの各決定木に、上述の未知の入力画像のテクスチャのヒストグラム特徴量を入力し（Ｓ９１２）、その判定結果を獲得する（Ｓ９１３）。テクスチャ特徴が実物の指に類似する場合は実物の指であると判定され、異物に類似する場合は異物と判定される。以上の判定処理フローの通り、テクスチャ特徴に基づいて本物の指かどうかを判定できる。

また、本実施例のランダムフォレストを使った実指判定において、ランダムフォレストを多段に構成して異物判定を実施することで、さらに高精度な実指判定が実現できる。すなわち、本実施例の生体認証システムを、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像に映る生体が真の生体であることを判定する、判定基準の異なる複数の生体判定部と、画像から生体の生体特徴を抽出する特徴抽出部と、生体特徴の類似度を比較する照合部と、を有し、複数の生体判定部が、生体が真の生体であることを判定した場合、特徴抽出部は生体の生体特徴を抽出し、照合部が抽出された生体特徴と登録データの類似度を比較して認証する構成とする。

図２を用いて説明したように、本実施例における認証処理では脈拍検出を実施せず、テクスチャ特徴による異物・偽造検知だけを実施している。そのため、脈拍検出があれば正しく棄却できたはずの異物や偽造指が誤って入力されてしまう頻度が高まる可能性がある。そこで、認証処理における実指判定において、テクスチャ特徴のヒストグラム特徴量から機械学習により判定用パラメータを獲得して判定を行う生体判定部は、機械学習に多段に接続したランダムフォレストを用い、その１つを脈拍検出であれば正しく棄却できる異物や偽造指を含むデータセットに特化して学習させる。

これにより、そのランダムフォレストが脈拍検出に近い判定結果を出力する、すなわち、多段構成の生体判定部であるランダムフォレストの１段が脈拍検出の代替として機能することになる。従って、脈拍検出を実施しない認証処理においても、異物の受理エラーを低減することができる。さらには、脈拍検出で正しく棄却できない異物を棄却することに特化したランダムフォレストを構築することで、脈拍検出で棄却できなかった異物等がこのランダムフォレストで正しく棄却できるようになり、登録の際の全体的な異物検知精度を更に向上することも可能となる。以下、生体判定部であるランダムフォレストを例えば３段などの多段にする構成の一具体例について説明する。

まず、脈拍検出で実物の指と判定されてしまう傾向のある多数の異物の画像データベースと、多数の実物の指の画像データベースを用いて、１段目のランダムフォレストを学習しておく。本明細書では、これを脈動異物チェック用ランダムフォレストと呼ぶ。この脈動異物チェック用ランダムフォレストは、脈拍検出で実物の指と誤判定される傾向のある異物と、実物の指とを高精度に判別することができるため、脈拍検出のエラーを補完できる。次に、一般的な多数の異物の画像データベースと多数の実物の指の画像データベースとを用いて、２段目のランダムフォレストを学習する。本明細書では、これを通常異物チェック用ランダムフォレストと呼ぶ。この通常異物チェック用ランダムフォレストは、広く一般的な異物と実物の指とを平均的な精度で判別することができる。

最後に、動画で撮影された多数の指の画像データベースと多数の実物の指の画像データベースとを用いて、３段目のランダムフォレストを学習する。ここでは、これを動画指チェック用ランダムフォレストと呼ぶ。この動画指チェック用ランダムフォレストでは、動画で撮影された指の映像が提示されるという攻撃に対して高精度に棄却することができる。このように３段のランダムフォレストを作成しておく。

判定処理においては、まず入力された被写体の手指領域内のLBPヒストグラムを獲得し、まず１段目の脈動異物チェック用ランダムフォレストによって異物かどうかを判定する。ここで実物の指と判定されると、次に２段目の通常異物チェック用ランダムフォレストによって異物かどうかを判定する。同様に、ここでも実物の指と判定されると、最後に３段目の動画指チェック用ランダムフォレストによって異物かどうかを判定する。ここで実物の指と判定されると、多段ランダムフォレストのすべての判定で実物の指と判定されることになり、真に実物の指とみなす。いずれかのランダムフォレストで異物と判定された場合はその入力が異物であるとみなされ、認証処理が失敗する。

以上の通り、元々の異物や偽造の特徴が把握できる場合は、複数の学習データによって複数のランダムフォレストを構築することで、異物の特徴に特化した、統合的に高精度な異物判定が実現できる。

なお、上述の実施例では人為的にランダムフォレストを多段構成したが、機械学習の手法として知られているAdaBoostを代表するブースティング手法とランダムフォレストとを組み合わせて、自動的に多段学習をさせても良い。具体的には、多数の実指および異物の画像データの分類精度が高まるように、１段目のランダムフォレストで学習を行う。その結果、エラーとなった実指および異物が正しく分類できるよう、次段のランダムフォレストではそれらを重点的に学習する。これを多段に繰り返し、最終的にはすべてのランダムフォレストの結果を重み付けして判定を行う。これにより、多数のランダムフォレストが相補的に機能し、全体的なエラー率を低減できるようになる。

また、上述の実施例では、LBPを画像の特徴量として選択したが、特徴量の抽出および異物の判定を機械学習によって実施しても良い。たとえば、深層学習として一般的に知られている畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）によって異物を判定することができる。この場合においても、上述の通り指の領域の内側に対して複数のフィルタを畳み込みながら、正解率が高まるようにフィルタの値とニューラルネットの結合係数とを反復的に学習させていく。これにより、異物と実物の指とを高精度に判別できる。

また、テクスチャ特徴に基づく実指、異物、偽造指判定において、かざした生体が紙への印刷もしくは動画像の映像であるかどうかの判定は、以下の方法で実施できる。まず、手指領域を任意の方法で検出し、次に認証処理部１０は、生体認証装置に付属している反射光源を点滅させるよう制御する。このとき、実際の生体を提示したものであれば、手指領域内だけが点滅し、背景領域は点滅しない。しかしながら、紙への印刷もしくは動画を提示した場合は紙もしくはスクリーンが平坦であることから、手指領域と背景領域とが同時に点滅する。このテクスチャ特徴を利用し光源を点滅することで、動画像の提示であることは判別可能となる。なお、認証装置がスマートデバイスであれば、反射光源の代わりに付属のフラッシュライト、もしくは液晶ディスプレイの点滅でもよい。

また、光源の照射方向が制御できるのであれば、複数の方向から順次被写体を照射し、そのときの影の変化をテクスチャ特徴として検出することでも実施可能である。影の変化が見られない場合は異物であるとみなす。また、光源の色が制御できるのであれば、色ごとの反射率が指特有のものであるかどうかを判定して実指かどうかを判定しても良い。また、認証処理部１０は、スピーカ１７などを使用して、登録および認証の操作の前に特定の指の曲げ伸ばしや指のジェスチャーを要求し、実施できない場合は異物と判定しても良い。

なお、上述の脈拍検出処理およびテクスチャ特徴による異物検知処理では、手指の内部領域と外部領域とを正確に分離することが必要となる。さらには、この手指領域の検出は、認証処理を高精度に実施するためにも重要な処理である。特に、スマートデバイスの汎用カラーカメラで撮影した生体は、その背景に様々な被写体が映り込むため、高精度な背景分離技術が必要となる。ここではその実施例として、各画素とその周辺画素との輝度差を色ごとに計算して獲得した特徴量と、ランダムフォレストとを用いた手指領域の検出手法について説明する。

まず、ある注目画素から距離Ｄ画素の８近傍について、赤プレーンの注目画素１８０、プレーンの注目画素１８２、青プレーンの注目画素１８４の３色に対し、赤プレーンの近傍画素１８１、緑プレーンの近傍画素１８３、青プレーンの近傍画素１８５の３色の組み合わせで差分を求める。これにより、９×８＝７２次元の特徴が得られる。図１０に示すP0r、P0g、P0b、はそれぞれＲ、Ｇ、Ｂの３色の注目画素であり、同様に、PDr、PDg、PDbはそれぞれＲ、Ｇ、Ｂの３色の距離Ｄの近傍画素である。色差分の例としては、たとえば赤プレーンの注目画素１８０と緑プレーンの近傍画素１８３との差はP0r-PDgであり、またPDgは８通りあるため、８通りのP0r-PDgが得られ、合計で７２の値が得られることになる。

さらに距離ＤをＮ通りに変えることで、７２Ｎ次元の特徴となる。かつ注目画素のＲ／Ｇ／Ｂの３色の輝度値そのものを３次元の特徴として含めると、１画素につき７２Ｎ＋３次元の特徴が得られる。これを上述のランダムフォレストでテクスチャ特徴の解析を行った手法と同様に、手指領域と背景領域との正解がラベリングされた多数の手指画像を用意し、背景画素と手指領域ない画素とを正しく正解できるようにランダムフォレストのパラメータを学習する。これにより、任意の手指画像が入力された際に、各画素で上述の色特徴を獲得し、画素ごとに背景か手指領域かを判定すると、手指領域の部分のみを取り出すことができる。なお、判定エラーによって不自然な手指領域部分が現れることがあるが、これはモルフォロジーにおける膨張収縮処理などで滑らかな領域に加工しても良い。また、元画像を小さく縮小した状態で手指領域の学習と判定を行い、最終結果を元のサイズに拡大することで処理を高速化することができる。

また、学習データのラベリングとして、人差指や中指などの指の種類や、基節、中節、末節などの関節部位ごとにラベルを付与しておき、それぞれを詳細に判定してもよい。さらには、じゃんけんのグーやチョキやパーなどの様々な手指のポーズごとに学習データを用意し、その結果、指の姿勢を学習することもできる。これにより、指のジェスチャー判定が実現でき、たとえば異物・偽造検知に利用したり、あるいは認証情報として活用し、認証精度を向上させたり、大量の登録データの中から利用者のデータを絞り込むために活用することで照合処理を高速化することも可能となる。

上述した指のジェスチャー判定を利用した認証システムの実施例を以下に示す。たとえばスマートフォンを用いてインターネットバンキングの各種サービスを利用する場合、従来では口座番号や契約者番号などの個人IDに加え、暗証番号あるいはワンタイムパスワード等を用いてログインした後、「残高照会」や「振込み」などの各種サービスを示すボタンを押下するなど、目的のサービスを利用するまでの操作が煩雑であった。一方、指のジェスチャー判定と指に基づく生体認証とを組み合わせた場合、たとえば「残高照会」を実施する場合には、指によるじゃんけんのチョキのポーズを、「振込み」の場合はパーのポーズをスマホのカメラにかざすことを予め決めておき、もし観測されたジェスチャーがチョキであれば、ジェスチャーの形状とその指の生体特徴とを利用することで、ログインおよび「残高照会」へのモード遷移とを同時かつ自動的に実施する。同様に、利用者がパーを提示した場合は、ログインおよび「振込み」へのモード遷移を実施する。

このように、本実施例の構成によって、様々な業務システムの各種機能の切り替えと本人確認を同時に実施することができるため、従来のような煩雑な操作を行うことなく、かつ確実に本人確認が行われた上で各種サービスを利用することが可能となる。なお、指を伸ばしてかざす本数が多いほど生体特徴がより多く観察できることから、より強固なセキュリティが必要となるサービスに対しては指を伸ばしてかざす本数の多いジェスチャーを割り当てることで、セキュリティ強度を高めることが可能となる。

また、認証システムがランダムに指のジェスチャーを決定し、その指示通りに指をかざすことを利用者に要求することで、かざされた指の異物・偽造チェックを行うことができる。一般的な異物・偽造生体としては、たとえば日用品をかざしたり紙に印刷された生体をかざしたりするものが知られているが、このような異物や偽造指をかざす場合、その場で指定された指のジェスチャーを模倣することは容易ではない。そのため、指定されたジェスチャーを行うという行為そのものが生体の手指をかざしている証拠となり、異物や偽造を排除する可能性を高められる。さらには複数のジェスチャーを提示させたり、あるいはそのときのジェスチャーの時間的変化を動画的に確認したりしてもよい。これにより、特に静止している被写体をかざした場合の攻撃に対して異物・偽造の判定精度を高められる。

また、多数の利用者の生体情報が登録されているサーバ認証装置において、個人IDを入力せずに生体情報だけで認証を行ういわゆる１：Ｎ認証を実施する場合、指のジェスチャーを利用することで多数の生体データベースの中からそのジェスチャーを行って登録されたデータに限定することが可能となる。そのため、認証処理が高速化されると共に、照合対象数の低減によって他人受入率も改善できる。また、複数のジェスチャーを連続的に示すことで登録データを更に限定してもよい。この場合、生体情報が複数回提示されるため登録データとの一致率が高まると共に、提示するジェスチャーの形状と順序そのものがパスワードとして機能することになるため、パスワードと生体の多要素認証が手指の動作だけで実現できる。よって利便性も高まり、かつ認証精度を飛躍的に向上させることができる。

本実施例によれば、入力される生体が実際の生体であることを検知でき、また利用者自身で登録作業ができる運用性の高い、高精度の認証システムを提供することができる。

実施例２は、安全に公開することのできる生体情報を用いた認証システムの実施例である。図１１は、実施例２の認証システムの一構成例を示し、利用者２００の所有するスマートフォン２０１によってチケットの購入および生体情報の撮影と登録を実施すると、スマートフォンから認証サーバ２０２に購入済みのキーと共に暗号化された生体の登録データ２０４がネット回線２０５を介して転送される。このとき登録データ２０４はサーバ内のデータベース２０６に蓄積される。

イベント会場での認証の際は、会場に設置された認証端末２０７に利用者が指１をかざすと、提示された生体情報から生成された暗号化された入力データ２０８が生成され、認証サーバ２０２に転送される。そして認証サーバ２０２では、暗号化された登録データ２０４が公開されており、これと暗号化された入力データ２０８との照合が行われ本人認証が実施される。認証が成功したと判定された場合は、イベント会場の認証端末２０７に認証成功の信号が届き、これに応じてたとえばゲートの扉が開くことで、利用者は会場内に入ることができる。なお、認証端末２０７は認証サーバ２０２から予め登録データをダウンロードしておき、認証端末２０７で照合による認証処理を実施しても良い。

以上のように本実施例の構成ではネットワークを介して登録データを通信する必要があるが、データの漏えいを防止するためにはデータの保護が必須となる。このとき、テンプレートを公開しても安全であることを保証することで、データの漏えいや改ざんなどの脅威を無効化することが有効であり、たとえばPBI (Public Biometric Infrastructure) 技術によって安全にテンプレートを公開する。一般的なPBI技術では、暗号化したまま照合処理を実施するが、暗号化した状態での照合処理は通常の非暗号状態での照合処理に比べて処理時間が掛かる。特に、照合処理を位置不変ではない特徴量に基づくテンプレートマッチングによって実施する場合、比較するパターン同士の位置ずれを補正しながらパターンを比較するため、大きな位置ずれが想定される場合は位置の探索範囲が大きくなり、多くの比較回数が必要となる。

そこで、本実施例の好適な構成の照合処理では、登録データを生体の位置補正情報と照合情報とに分け、位置補正情報から照合情報が推測されない情報を選択した上で、位置補正情報を非暗号状態で照合し、その結果から得られる位置ずれ量を利用し、照合情報を暗号化状態で高速に照合することにより、安全かつ高速な照合を実現する。すなわち、本実施例の生体認証システムでは、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像から生体の生体特徴を抽出する特徴抽出部と、抽出した生体特徴を、互いに独立な生体特徴量で構成された位置補正特徴量と照合特徴量に分割し、位置補正特徴量によって生体の位置ずれ量を得、位置ずれ量を用いて照合特徴量によって生体特徴と登録データとの類似度を比較する照合部とを備える。

図１２は、PBIに対応する登録テンプレートを高速かつ高精度に照合する実施例２の認証処理フローの一例を示す図である。まず、生体の提示を促すガイダンスの表示を行い（Ｓ１２０１）、利用者がスマートフォンに複数の手指をかざすと、上述の実施例で詳述した異物検知を実施する（Ｓ１２０２）。なお、ここで上述した脈拍検出は実施すると良いが、認証する状況に応じて処理時間短縮のために脈拍検出は実施しない構成としても良い。

異物検知処理でかざされた手指が真の生体かどうか判定し（Ｓ１２０３）、真の生体でない場合は手指をかざすよう促すガイダンスを改めて表示するが、真の生体と判定された場合は生体の特徴抽出を行う（Ｓ１２０４）。本実施例では、複数の手指から指静脈や指紋、関節模様などの生体特徴を抽出し、すべての指のすべての生体特徴を２値化あるいは多値化された特徴量に変換して特徴量レベルでパターンを融合し、テンプレートマッチングによって照合される情報として抽出する。ただし、PBIを実現する生体情報であれば、任意の特徴抽出手法およびデータ形式においても同様に実施可能である。

次に、抽出した特徴量を事前に決定した基底特徴量の線形和に分解する（Ｓ１２０５）。ここで事前に決定した基底特徴量とは、各基底同士が独立した特徴量であり、本実施例では以下の方法により決定する。まず、事前に用意した多数の手指画像から生体の特徴量を抽出しておき、これらのデータに対して主成分分析 (Principle Component Analysis, PCA) を施してPCA基底特徴量(PCA基底)を抽出する。このとき、寄与率の高い上位M位の基底をM個獲得する。

元の生体特徴量をf、PCA基底をx_i、i番目のPCA基底に対する重みをa_iとすると、PCA変換前の特徴量fは以下の式１の通りに線形和で表現される。なお、x_iはPCAを行った際に得られる寄与率の高い順にiの昇順に並べられおり、特にx₀は事前に用意した多数の生体特徴量の平均値となる。

f = a₀x₀ + a₁x₁ + a₂x₂ + … + a_Kx_K + a_K+1x_K+1 + … + a_Mx_M （式１）

続いて、M個のPCA基底x_iに対し、独立成分分析 (Independent component analysis, ICA) によってM個のICA基底s_jと混合行列Aとを獲得する。ここでM個のICA基底s_iを並べた行列をs、混合行列Aの第i行の行ベクトルをAiとすると、生体特徴量は次のように変換される。

f = a₀(A₀s) + a₁(A₁s) + a₂(A₂s) + … + a_M(A_Ms) （式２）

定数項をb_iとし、ICA基底s_iを用いて特徴量fを纏めると以下の通りとなる。なお式中のiはICA基底番号である。

f = b₀s₀ + b₁s₁ + b₂s₂ + … + b_is_i + … + b_Ms_M （式３）

ICA基底s_iは多数の生体特徴量から選ばれた独立性の高い成分であるため、i番目のICA基底の係数b_iから他のICA基底の係数b_j(j≠i)を推測することは困難となる。

次に、特徴量fを位置補正特徴量と照合特徴量とに分離する（Ｓ１２０６）。本実施例においては、M個の基底のうち任意のK個の基底を組み合わせて照合特徴量を構成し、残りの(M-K)個の基底によって位置補正特徴量を生成する。このとき、Kの値は1からM-1までを取る。すなわち、基底個数M、照合特徴量の基底個数K、そしてM個の基底からK個の基底を取り出す組み合わせ、が調整パラメータとなる。

その後、多数の被験者から撮影した手指画像（同一被験者の画像も多数含む）を事前に用意し、これらの画像から特徴抽出を行い、上述の位置補正特徴と照合特徴とに分割し、後述する照合処理を全画像の総当たりで実施し、その結果で最も認証精度が高まるM、K、そしてM個からK個の基底を取り出す組み合わせ、を探す。そして、その結果から得られるICA基底の組み合わせで照合特徴量と位置特徴量とを構成する。定式化すると、次の式４および式５に示されるように元の特徴量fを位置補正特徴量f_pと照合特徴量f_mとに分割する。なお、添え字のpiとmiとはそれぞれ位置補正特徴量と照合特徴量におけるICA基底番号である。

f_p = b_p0s_p0 + b_p1s_p1 + … + b_p(M-K)s_p(M-K) （式４）
f_m = bm₀s_m0 + b_m1s_m1 + … + b_mKs_mK （式５）

上述のように、位置補正特徴量f_pと照合特徴量f_mとはそれぞれ独立な基底から構成されているため、仮に位置補正特徴量f_pを公開しても照合特徴量f_mを推測することはできない。そのため、入力された特徴量と登録された特徴量の位置補正特徴量f_pを、非暗号状態で高速に照合してパターンの位置ずれ量を獲得し、その結果を用いて同様に照合特徴量同士を暗号化した状態で照合すれば、安全かつ高速な照合が可能となる。また、仮に位置補正特徴量が悪用される場合があったとしても、上述のICA基底の組み合わせそのものを別の組み合わせに変更することでデータを無効化することもできる。これは、ICA基底の組み合わせそのものがデータ保護の鍵として利用できることを意味する。ただし、照合用特徴量f_mは暗号化する必要があるため、任意の暗号方式によって暗号化し、公開しても安全な状態にしておく。

以上説明した手順により、予めICA基底を基底特徴量として獲得しておけば、基底特徴量を定義することが可能となる。

ここで、元の特徴量fを上述の通り算出したICA基底の線形和で表すための、重みbiの獲得方法について述べる。まず、上述の式１について、PCA基底x_iは直交しているため、元の特徴量fとx_iとの内積を取ることで変数a_iが獲得できる。これをM個のiに対して実施すると、すべての変数aiが得られる。また、x_i、s_j、混合行列Aも事前に得られているため、a_iとAよりb_iを獲得することができる。よって、任意の生体情報fをf_pおよびf_mに変換すること、すなわち、任意の生体情報fに対する係数b_piおよびb_miを獲得することができる。

次に、位置補正特徴および照合用特徴を照合可能な形式に変換する（Ｓ１２０７）。たとえば、元の生体情報fが3値の静脈テンプレート画像である場合、上記の通りに位置補正特徴量f_pと照合特徴量f_mとに変換すると、量子誤差によってこれらは多値画像に変換される。その場合は改めて閾値処理によって3値化パターンへの再変換を実施し、3値テンプレート画像になるよう補正する。他の形式であった場合でも、元の形式となるよう変換しておく。

次に、登録と入力の位置補正特徴量を照合する（Ｓ１２０８）。位置補正特徴量同士のテンプレートを従来手法によって照合し、最も類似性が高くなる位置を探して位置ずれ量を得る。

続いて、この位置ずれ量を利用して暗号化された照合用特徴量同士の照合を実施し、両特徴量の類似度を算出する（Ｓ１２０９）。基本的には復号することなく両特徴量の類似度を算出するが、明らかに安全である場合には復号して照合することもできる。最後に、両特徴量の類似度が認証閾値を超えて類似しているかどうかに基づき認証の可否を判定する（Ｓ１２１０）。閾値を超えて類似している場合は認証成功、それ以外で認証失敗と判定し、認証処理を終える。

なお、データ保護の観点から位置補正特徴量同士の類似性を認証の判定に使うことは望ましくないが、実用上問題ないと判断できる場合は、位置補正特徴量同士の類似性も認証判定に利用することで、認証精度を向上することができる。

以上説明した本実施例の手法により、PCAおよびICAを用いて獲得した基底の個数Mおよび位置補正特徴に利用する基底の個数Kを調整することで、位置補正特徴および照合特徴に使用する情報量をきめ細かく調整することができる。たとえば利用する生体特徴が元々位置ずれの生じにくいものであれば、Kを大きな値に調整して照合特徴に配分する情報量を大きくするなど、生体特徴の特性に合わせたバランス調整が可能となる。

一般的には、静脈や指紋、関節模様など、解剖学的に異なる複数の生体特徴を画像から抽出し、生体特徴ごとに位置補正特徴と照合特徴とに分ける方法が最も簡単であると考えられる。しかしながらこの方式の課題は、通常抽出できる生体特徴のバリエーションは高々数個であり、位置補正特徴に用いる生体特徴の選択肢が少ないため十分な位置補正ができない可能性が生じる問題や、生体特徴の単位で位置補正用および照合用特徴に分ける必要があるため、どの生体特徴も位置補正だけに活用するにはオーバースペックとなる場合は余剰の情報量を照合情報として活用することができないなどの問題がある。さらには、各生体特徴が必ずしも独立な情報であるという保証がなく、位置補正特徴から照合特徴が推測される可能性もある。

これらの課題に対し、本実施例の構成によれば、複数の生体特徴の全情報から、ICAに基づいて独立成分を獲得することにより、互いに独立した生体特徴で構成された位置補正特徴および照合特徴を柔軟に抽出してバランスを調整できる点、さらには数学的に独立な情報であることを前提としているため非暗号の位置補正特徴から照合用特徴を推測することが困難である点、があることにより前述の課題を解決でき、従来よりも安全で高精度な認証が実現できる。

なお、上述した複数の生体特徴を更に増やし、静脈、指関節模様、指紋および皮膚模様、指輪郭、脂肪紋、指の長さの比率、指幅などを取り出し、これらの生体特徴の中から独立性の高い生体特徴を分類し、そのうちの一部を位置合わせに、残りを照合特徴として利用することができれば、生体特徴ごとに位置補正特徴と照合特徴に分ける方法を適用しても安全性および精度を向上することが可能となる。また、RGBの3枚のカラー画像に対してICAを施し、それぞれ独立な画像特徴を抽出しても良い。この場合、解剖学的に意味のある生体特徴が獲得できるとは限らないが、仮に解剖学的な複数の生体特徴の間に独立性が保障できないとしても、ICAに基づいて独立成分を獲得することにより数学的に独立性が保障されるため、より安全な生体特徴の分離が実現できる。

本実施例によれば、入力される生体が実際の生体であることを検知でき、また生体情報を秘匿しながらも高速かつ高精度に照合することができ、データ秘匿性が高く、高速で高精度な生体認証システムを提供することができる。

実施例３は、指の血管を用いた生体認証システムの他の構成の実施例である。図１３は、実施例３のシステムの全体の構成を示す図である。利用者は指１を入力装置２に具備された指置き台２４０に指の位置を合わせて提示する。天井部２４２に設置された光源３は赤外光源であり、指１に向けて赤外光を照射する。指１を透過した赤外光は開口部２４１を介して撮像装置９に到達する。撮像装置９は赤外カメラであり、指１の赤外透過光を撮影する。この映像には指静脈パターンが撮影されており、認証処理部や認証端末によって、この撮影された指静脈パターンに基づく生体認証が実施される。天井部２４２は外部の環境光が撮像装置９に入らないように遮光することができる。

本装置構成において、実施例１および実施例２で説明した脈拍検出、異物検知を適用することにより、入力される生体情報の信頼性を高めることができる。その処理手順は図２および図３に示した方法が適用できる。

本実施例の生体認証システムの構成においては、入力装置２の上部には天井部２４２が設置されているため、外光の影響が少なくでき、また指静脈パターンの撮影は赤外透過光に基づく方式であるため鮮明な映像を撮影できるため、特に脈拍検出における検出精度を高めることができる。

脈拍検出を実施する際は、指１が移動しないよう、画像中の指の移動量を測定し、移動が検出された場合は指を動かさないように利用者にガイダンスを表示する。指１が静止されている間、光源３の光量は、上述の指先領域の画像の輝度値が白飛び（飽和）しない程度の明るさに調整したまま固定値で照射し続ける。これにより、血流量の変動に起因する画像の輝度変化をよりロバストに観測することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

更に、上述した各構成、機能、認証処理部等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。すなわち、認証処理部の全部または一部の機能は、プログラムに代え、例えば、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などの集積回路などにより実現してもよい。

本発明は、利用者自身が登録作業を実施することのできる運用性の高い認証システムと、高速で高精度な生体認証装置とを提供することができ、個人認証装置として有用である。

１指
２入力装置
３光源
９カメラ
１０認証処理部
１１中央処理部
１２メモリ
１３インターフェイス
１４記憶装置
１５表示部
１６入力部
１７スピーカ
１８画像入力部
５０脈動信号
５１時間微分
６０手指輪郭線
６１指先
６２指内部領域
６３指輪郭線に直交する直線
６４指先領域の中心の初期位置
６５指先領域の中心
６６指先領域
１２０注目画素とその８近傍画素
１２１基本的なLBPコード
１８０赤プレーンの注目画素
１８１赤プレーンの近傍画素
１８２緑プレーンの注目画素
１８３緑プレーンの近傍画素
１８４青プレーンの注目画素
１８５青プレーンの近傍画素
２００利用者
２０１スマートフォン
２０２認証サーバ
２０４暗号化された生体の登録データ
２０５ネット回線
２０６認証サーバのデータベース
２０７会場の認証端末
２０８暗号化された入力データ
２４０指置き台
２４１開口部
２４２天井部

Claims

生体を撮影する撮像部と、
前記撮像部によって撮影された画像を処理し、前記生体の認証を行う認証処理部を備え、
前記認証処理部は、
前記画像に映る前記生体の輝度値の時間的変化を獲得し、前記画像に撮影された前記生体のテクスチャ特徴を抽出し、前記輝度値の時間的変化および前記テクスチャ特徴に基づき、前記生体が真の生体であることを判定する生体判定部を有し、
前記生体判定部は、
前記テクスチャ特徴のヒストグラム特徴量から機械学習により判定用パラメータを獲得して判定を行い、前記機械学習に多段に接続したランダムフォレストを用いる、
ことを特徴とする生体認証装置。
請求項１記載の生体認証装置であって、
前記生体の輝度値の時間的変化は、前記生体の指先領域の輝度値の変化である、
ことを特徴とする生体認証装置。
請求項２記載の生体認証装置であって、
前記認証処理部は、
前記生体の指先の輪郭線に対して直交する複数の直線が通る数に基づき、前記生体の指先領域の中心を検出する、
ことを特徴とする生体認証装置。
請求項２記載の生体認証装置であって、
前記認証処理部は、
前記生体の指先領域の輝度値の変化により脈動信号を検出し、前記脈動信号を時間微分して、前記生体の脈拍検出を行う、
ことを特徴とする生体認証装置。
請求項４記載の生体認証装置であって、
前記認証処理部は、
前記生体の指先が移動している場合は、前記生体の脈拍検出を行わない、
ことを特徴とする生体認識装置。
請求項１記載の生体認証装置であって、
前記生体に光を照射する光源を備え、
前記認証処理部は、
前記テクスチャ特徴を抽出する際に、前記光源を点滅させるよう制御する、
ことを特徴とする生体認証装置。
請求項１記載の生体認証装置であって、
前記認証処理部は、
前記テクスチャ特徴を抽出する際に、前記生体の指のジェスチャーを検出する、
ことを特徴とする生体認証装置。
請求項１記載の生体認証装置であって、
前記多段に接続したランダムフォレストは、脈動異物チェック用ランダムフォレストと、
通常異物チェック用ランダムフォレストを含む、
ことを特徴とする生体認証装置。
生体を撮影する撮像部と、
前記撮像部によって撮影された画像を処理し、前記生体の認証を行う認証処理部を備え、
前記認証処理部は、
前記画像に映る前記生体が真の生体であることを判定する、判定基準の異なる複数の生体判定部と、
前記画像から前記生体の生体特徴を抽出する特徴抽出部と、
前記生体特徴の類似度を比較する照合部と、を有し、
前記複数の生体判定部が、前記生体が真の生体であることを判定した場合、前記特徴抽出部は前記生体の生体特徴を抽出し、前記照合部が抽出された前記生体特徴と登録データの類似度を比較し、
前記複数の生体判定部は、
前記画像に撮影された前記生体のテクスチャ特徴を抽出し、前記テクスチャ特徴に基づき、前記生体が真の生体であることを判定し、
前記テクスチャ特徴のヒストグラム特徴量からランダムフォレストにより判定用パラメータを獲得して判定を行い、
前記ランダムフォレストは、多段に接続された脈動異物チェック用ランダムフォレストと通常異物チェック用ランダムフォレストを含む、
ことを特徴とする生体認証装置。
生体を撮影する撮像部と、
前記撮像部によって撮影された画像を処理し、前記生体の認証を行う認証処理部を備え、
前記認証処理部は、
前記画像から前記生体の生体特徴を抽出する特徴抽出部と、
抽出した前記生体特徴を、互いに独立な生体特徴量で構成された位置補正特徴量と照合特徴量に分割し、前記位置補正特徴量によって前記生体の位置ずれ量を得、前記位置ずれ量を用いて前記照合特徴量によって前記生体特徴と登録データの類似度を比較する照合部と、を備える、
ことを特徴とする生体認証装置。
請求項１０記載の生体認証装置であって、
前記認証処理部は、
前記生体が真の生体であることを判定する生体判定部を有し、前記生体判定部で前記生体が真の生体であることを判定した場合、前記照合部で前記生体特徴と前記登録データの類似度を比較する、
ことを特徴とする生体認識装置。