JP5949912B2 - 生体情報処理装置、生体情報処理方法及びプログラム - Google Patents

Description

本発明は、生体情報を処理する生体情報処理装置、生体情報処理方法及びプログラムに関する。

従来、施設への入退出等の際に人手を介さずに本人であることを確認する手段として、指紋、顔、静脈などの個人の生体情報を用いる生体認証技術が利用されている。生体情報を用いる生体認証は、磁気カードや暗証番号(Personal Identification Number; PIN) と異なり、紛失（忘却）や盗用の心配がない利点がある。

生体情報として静脈を用いる場合を例にして、一般的な生体認証技術に関して説明する。静脈認証装置の基本的な手順は、以下の通りである。まず、静脈認証装置は、手のひら等の静脈を撮影しやすい人体の部位に近赤外光を照射して、反射あるいは透過した光の強度分布を撮影して静脈像を抽出する。

静脈認証装置は、各個人の静脈像を登録して予め記憶しておく。登録された生体情報は、登録データあるいは登録テンプレートとも称する。静脈認証装置は、登録テンプレートと認証時に撮影して得られた静脈像（照合データと称する）とを照合して両者が一致するかどうかを判定する。

ただし、生体情報は同一人物であってもある程度は変動するので、静脈像の一致の判断においては、ある程度の変動を許容する必要がある。典型的には、静脈認証装置は、まず両者の位置合わせを行い、更に両者の類似性を類似度という尺度で表現し、類似度が、与えられた閾値よりも大きい場合に登録された本人であると判定する。

位置合わせは、例えば、登録データと照合データとができるだけ一致するように一方を仮想的に移動させることで行われる。仮想的に移動させるとは、静脈像を表現する座標系を変換することである。

登録テンプレートは、通常、利用者所有のＩＣカードやサーバの記憶装置（データベース）に保管される。位置合わせや類似度の算出処理は、利用者に近接した計算機や集中管理されたサーバで実行される。

認証精度を更に向上させる従来技術として、生体情報と一緒に取得できる他の情報を認証に用いる手法が知られている。以降では、このような情報を補助情報と称する。補助情報を用いることで、利用者に追加撮影の負担をかけずに、情報を増やし認証精度を向上させることができる。

補助情報を用いる従来技術には、撮影画像から指静脈と指輪郭を抽出し、指輪郭で指の向きの位置合わせを行う技術がある（例えば特許文献１参照）。また、手の位置向きを検出して不適切な場合に利用者に通知したり（例えば特許文献２参照）、適切な位置で生体情報が撮影されるように利用者を誘導したり（例えば特許文献３参照）する技術がある。

また、動画像から顔のベストショットを選択する技術がある（例えば特許文献４参照）。

特開２００４−１０２９９３号公報 再表２００４−０２１８８４号公報 特開２００３−６７７５０号公報 特開２００５−２２７９５７号公報

ここで、生体認証として、手のひらの静脈を用いるとすると、この場合に利用可能な補助情報としては、輪郭形状、指のつけね（指つけね）の位置等が考えられる。以降では、指のつけねとは指間の水かき部分を指す。

輪郭形状や指のつけねは数が少なく、撮影画像上でお互いに離れて分布するため、位置を特定しやすい利点があり、位置合わせへの利用に適している。手のひら近辺での生体認証において補助情報を利用する際の課題として、一般的な手よりも大きな手に対しては撮影範囲に手のひら全体が収まるとは限らず、補助情報が取得できるとは限らないことが挙げられる。この課題に利用可能な従来技術には以下の３つがあるが、いずれも課題が残る。

・手のひら全体が撮影範囲に収まるように利用者を誘導する
例えば、誘導を行う従来技術では、補助情報が撮影範囲に入らないくらい手が大きい場合には、撮影装置の位置から手の位置を遠ざけて補助情報が撮影範囲内に入るようにする。課題としては、手を遠ざけた場合、撮影装置の位置から手が遠くなるため、撮影装置の照明による明るさが不十分となり、撮影品質が低下し、生体情報を適切に抽出できないことが挙げられる。

・補助情報の取得を行わない
例えば、補助情報の取得ができなかった場合に、補助情報を使用しない従来の認証処理を行う方法が考えられる。課題としては，補助情報が利用できないため、認証精度が低下することが挙げられる。

・動画像で撮影して手のひら全体が映っている画像を抜き出す
例えば、動画像から顔のベストショットを選び出す構成を、補助情報の取得処理に適用することが考えられる。しかし、課題としては、１つ目と同様、撮影装置の位置から手が遠い位置にあると、撮影装置の照明による明るさが不十分となり、撮影品質が低下し、生体情報を適切に抽出できないことが挙げられる。

よって、従来技術では、適切な撮影位置での撮影範囲に補助情報が含まれない場合、生体情報の認証精度が低下するという課題があった。

そこで、開示の技術は、適切な撮影位置での撮影範囲に補助情報が含まれない場合でも、生体情報の認証精度を向上させることができる生体情報処理装置、生体情報処理方法及びプログラムを提供することを目的とする。

開示の一態様における生体情報処理装置は、撮影手段により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出する補助情報抽出手段と、補助情報の時間変化のモデルを用いて前記補助情報を時間方向に追跡するとともに、撮影範囲外に位置する補助情報を推定値で置き換える追跡手段と、前記複数の画像のうちの少なくとも１つの画像から、前記生体情報を抽出する生体情報抽出手段と、追跡された前記補助情報と、抽出された前記生体情報との位置関係を対応付ける対応付け手段と、対応付けられた前記補助情報と前記生体情報とを出力する出力手段と、を備え、前記追跡手段は、追跡対象画像から抽出された第１の補助情報と、前記追跡対象画像の直前の画像から抽出された第２の補助情報とで追跡を行って、対応が取れた補助情報の数に応じて、前記モデルを変更する。

開示の技術によれば、適切な撮影位置での撮影範囲に補助情報が含まれない場合でも、生体情報の認証精度を向上させることができる。

実施例１における認証システムの構成の一例を示すブロック図。 実施例１における撮影装置の一例を示す図。 撮影された動画像に含まれる各画像の例を示す図。 各画像に対する指のつけねの抽出例を示す図。 つけねの抽出結果の一例を示す図。 抽出された生体情報の一例を示す図。 １枚目と２枚目との補助情報の対応関係を示す図。 ２枚目と３枚目との補助情報の対応関係を示す図。 推定値を含む対応付けされた補助情報の一例を示す図。 生体情報の一例を示す図。 追跡後の補助情報の一例を示す図。 生体情報に関するデータベースの一例を示す図。 登録生体情報の一例を示す図。 登録補助情報の一例を示す図。 位置合わせ後の生体情報の一例を示す図。 追跡なしの場合の位置合わせ後の生体情報の一例を示す図。 実施例１における認証処理の一例を示すフローチャート。 実施例１における補助情報の追跡処理の一例を示すフローチャート。 実施例１における生体情報及び補助情報の登録処理の一例を示すフローチャート。 実施例２における認証システムの構成の一例を示すブロック図。 推定された補助情報の一例を示す図。 誘導後の生体情報の一例を示す図。 誘導後の補助情報の一例を示す図。 実施例２における認証処理の一例を示すフローチャート。 実施例３における情報処理装置の構成の一例を示すブロック図。

１、２ 認証システム
１０ 生体情報処理装置
２０ 認証装置
１０３ 撮影手段
１０５ 補助情報抽出手段
１０７ 生体情報抽出手段
１０９ 追跡手段
１１１、３０１ 対応付け手段
１１４ 出力手段
３０３ 誘導手段
４０１ 制御部
４０３ 主記憶部
４０５ 補助記憶部
４１５ カメラ

まず、以下に示す各実施例では、例えば、生体認証として手のひらから撮影できる生体情報を用いる。また、体の一部を示す補助情報としては、例えば手のひらや指の輪郭形状、又は指のつけねを用いる。生体情報や補助情報は、上記例に限られず、他の生体情報や、生体情報の近辺にある体の一部の情報を補助情報としてもよい。

ここで、補助情報は、遠距離で撮影された低品質の画像からでも抽出可能である。そこで、以下に示す各実施例では、撮影装置に手をかざす利用シーンを動画像として撮影する。手のひら全体が映っている低品質画像から補助情報が抽出され、撮影装置に手が接近した高品質画像から生体情報が抽出されることを想定する。

ただし、そのままでは抽出された補助情報と生体情報との位置関係が不明であるため、位置合わせに利用できない。そこで、以下に示す各実施例では、動画像において一部の補助情報に対して時間方向の追跡を行い、補助情報と生体情報との対応付けを行う。以下、図面に基づいて各実施例を説明する。

［実施例１］
＜構成＞
まず、実施例１における認証システムについて説明する。実施例１における認証システム１は、生体情報として手のひらの静脈を用い、自動ドアと組み合わせて入室管理に適用した認証システムを例に説明する。なお、開示の技術が、自動ドアと生体認証を組み合わせる例に限られないことは言うまでもない。

図１は、実施例１における認証システム１の構成の一例を示すブロック図である。図１に示す認証システム１は、生体情報処理装置１０と、認証装置２０とを備える。生体情報処理装置１０は、生体情報と補助情報とを抽出し、対応付けた生体情報と補助情報とを認証装置２０に出力する情報処理装置である。認証装置２０は、生体情報処理装置１０から取得した生体情報と補助情報とを用いて認証処理を行うサーバなどである。

まず、生体情報処理装置１０について説明する。生体情報処理装置１０は、照射手段１０１、撮影手段１０３、補助情報抽出手段１０５、生体情報抽出手段１０７、追跡手段１０９、対応付け手段１１１、通信手段１１３、表示手段１１５、及び開閉手段１１７を有する。

入室を希望する利用者は、自動ドア内あるいは自動ドア近くに設置された生体情報処理装置１０に手をかざす。照射手段１０１は、手のひらがかざされたことを検知すると、手のひらに近赤外光を照射する。

撮影手段１０３は、近赤外光が照射された手のひらを撮影する。この際、生体情報処理装置１０は、利用者のＩＤをＩＣカード、キーボード等から受け付けてもよい。撮影手段１０３は、撮影した時間方向に連続する複数の画像を、補助情報抽出手段１０５及び生体情報抽出手段１０７に出力する。

補助情報抽出手段１０５は、撮影手段１０３により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出する。補助情報は、例えば、手のひらの輪郭の情報や、指のつけねの情報である。補助情報抽出手段１０５は、撮影された順に従って、画像から補助情報を抽出する度に、追跡手段１０９に出力する。

生体情報抽出手段１０７は、撮影手段１０３から取得した複数の画像のうちの少なくとも１つの画像から、生体情報を抽出する。生体情報は、例えば静脈像や掌紋などである。生体情報抽出手段１０７は、抽出した生体情報を対応付け手段１１１に出力する。

追跡手段１０９は、補助情報抽出手段１０５から抽出された補助情報を時間方向に追跡する。追跡手段１０９は、補助情報の時間変化のモデルを用いて、撮影範囲外に位置する補助情報を推定値で置き換える。

また、追跡手段１０９は、追跡対象画像から抽出された第１の補助情報と、追跡対象画像の直前の画像から抽出された第２の補助情報とで追跡を行って、対応が取れた補助情報の数に応じて、時間変化のモデルを変更してもよい。追跡手段１０９は、追跡後の補助情報を対応付け手段１１１に出力する。追跡後の補助情報とは、置き換えられた推定値を含む情報である。

対応付け手段１１１は、生体情報が抽出された画像から抽出され、追跡された補助情報と、抽出された生体情報との位置関係を対応付ける。対応付け手段１１１は、対応付けた補助情報と生体情報とを通信手段１１３に出力する。

通信手段１１３は、対応付け手段１１１から取得した補助情報と生体情報とを認証要求又は登録要求とともに認証装置２０に出力する。よって、通信手段１１３は、補助情報と生体情報とを出力する出力手段１１４としての機能を有する。

通信手段１１３は、認証の判定結果を認証装置２０から取得した場合、判定結果を表示手段１１５及び開閉手段１１７に出力する。

表示手段１１５は、判定結果が、登録者であることを示していれば，ランプやブザー等によって入室許可の認証結果を利用者に通知する。また、表示手段１１５は、判定結果が、登録者ではないとことを示していれば、ランプやブザー等によって入室不許可の認証結果が利用者に通知される。

開閉手段１１７は、判定結果が登録者であることを示していれば、自動ドアを開くよう制御する。開閉手段１１７は、判定結果が登録者ではないことを示していれば、自動ドアを閉じたままに制御する。

なお、生体情報処理装置１０の照射手段１０１、撮影手段１０３、表示手段１１５、開閉手段１１７は、必ずしも生体情報処理装置１０に必要は構成ではなく、これらの各手段は、他の装置内に設けられてもよい。

また、生体情報処理装置１０は、認証要求を行う以外にも、補助情報と生体情報とを認証装置２０に登録することも可能である。なお、生体情報処理装置１０は、登録要求を行う場合、利用者のＩＤをＩＣカードやキーボードなどから受け付け、利用者ＩＤも生体情報などとともに認証装置２０に送信する。

次に、認証装置２０について説明する。認証装置２０は、通信手段２０１、登録手段２０３、記憶手段２０５、位置合わせ手段２０７、類似度算出手段２０９、及び判定手段２１１を有する。

通信手段２０１は、補助情報と生体情報とを取得した場合、登録要求か認証要求かを判定する。通信手段２０１は、登録要求とともに受信した補助情報と生体情報と利用者ＩＤとを、登録手段２０３に出力する。また、通信手段２０１は、認証要求とともに受信した補助情報と生体情報とを、位置合わせ手段２０７に出力する。

登録手段２０３は、取得したＩＤを登録者ＩＤとして、補助情報及び生体情報に対応付けて記憶手段２０５に記録する。

記憶手段２０５は、登録された登録者ＩＤと、補助情報と、生体情報とを対応付けて記憶する。

位置合わせ手段２０７は、記憶手段２０５に記憶されている補助情報を用いて、生体情報である静脈像の位置合わせを行う。位置合わせ手段２０７は、利用者のＩＤが指定された場合には、該当するＩＤの生体情報が用いられ、そうでなければ全ＩＤの生体情報が順番に用いられる。位置合わせ手段２０７は、位置合わせ後の両生体情報を類似度算出手段２０９に出力する。

類似度算出手段２０９は、登録された生体情報と、認証対象の生体情報との類似度を算出する。類似度は、値が大きいほど類似していることを示す。類似度算出手段２０９は、算出した類似度を判定手段２１１に出力する。

判定手段２１１は、算出された類似度が、予め与えられた閾値よりも大きいかどうかを判定する。判定結果は、通信手段２０１を介して、生体情報処理装置１０に送信される。

なお，各実施例で利用可能な静脈以外の生体情報としては手のひらの掌紋が考えられる。掌紋の場合には、照射手段１０１としては可視光を用いることが望ましい。また、撮影装置１０３と接触せずに複数の指静脈や指紋を撮影する場合も各実施例を適用可能である。各実施例では、認証に用いる生体情報の種類を限定しない。各実施例が想定する補助情報は、輪郭形状や指のつけねの位置のような、生体情報と一緒に撮影することができ、かつ撮影装置に手が近接すると一部が撮影範囲から外れる可能性があるが、一部は撮影範囲に収まるような特徴である。

＜各処理＞
次に、生体情報処理装置１０の各手段の処理の具体例を説明する。

《照射手段、撮影手段》
照射手段１０１は、例えば、近赤外光を発光するＬＥＤを用いることが好ましい。また、照射手段１０１は、生体情報として掌紋を用いる場合は、可視光を用いることが望ましい。撮影手段１０３は、可視光線を遮断するフィルタ（可視カットフィルタ）を付けたＣＭＯＳカメラあるいはＣＣＤカメラを使用することが好ましい。

図２は、実施例１における撮影装置３０１の一例を示す図である。図２に示す撮影装置３０１は、照射手段１０１と撮影手段１０３とが一体化されている。図２に示す例では、撮影装置３０１上方から手のひらをかざす。

撮影結果は、動画像として表現される。動画像とは所定の時間間隔で撮影された画像の列である。時間間隔としては、例えば、３３ミリ秒が用いられる。動画像を構成する各画像は、多数の画素を含む２次元の配列であり、各画素は光の強度に応じた値（画素値）を持つ。

なお、以降に説明する処理は、各画像が撮影される度に行われる。図３は、撮影された動画像に含まれる各画像の例を示す図である。図３に示す例では、３枚の画像を示す。

図３に示す例では、画像ａ１０１、画像ａ１０３、画像ａ１０５の順で撮影時刻が新しくなる。つまり、図３に示す各画像は、手が撮影装置３０１に徐々に近づいてくる様子を撮影した画像である。また、画像サイズは、例えば１００×１００とする。

《補助情報抽出手段》
まず、補助情報として輪郭を用いる場合を想定して、輪郭を抽出する１手法を説明する。本手法の場合、静脈像も併せて抽出する。撮影された画像上で、背景は明るく、手のひらはやや暗く、静脈は、最も暗いパターンとして表される。そのため、例えば、補助情報抽出手段１０５は、撮影された画像を以下のように３値化することで、補助情報を抽出することができる。

（Ａ１）補助情報抽出手段１０５は、各画素の値が、定められた第１の閾値よりも大きい場合には、背景を表す値「０」とする。
（Ａ２）補助情報抽出手段１０５は、各画素の値が、定められた第１の閾値よりも小さく、第２の閾値（＜第１の閾値）よりも大きい場合には、手のひらを表す値「２」とする。
（Ａ３）補助情報抽出手段１０５は、上記以外の場合には、静脈を表す値「１」とする。

第１の閾値には、平均的な背景の画素値よりも小さな値が設定される。画素値の範囲が０から２５５の場合、第１の閾値は、例えば値「１５０」とする。第２の閾値には、第１の閾値よりも小さい値が設定される。また、第２の閾値には、平均的な静脈像の画素値よりも大きな値が設定される。例えば，第２の閾値は、値「６０」とする。

補助情報抽出手段１０５は、上記のような３値化後に、全画素を１つずつ走査して、注目画素が手のひらを表す値「２」であり、その隣の画素が背景を表す値「０」の場合に、注目画素の値を、輪郭を表す値「４」に変更する。最後に、補助情報抽出手段１０５は、輪郭を表す画素の座標値を以下の方法で求める。

（Ｂ１）補助情報抽出手段１０５は、座標値を記憶する配列を用意する。点の個数を記憶する変数を用意し、「０」に初期化する。
（Ｂ２）補助情報抽出手段１０５は、上記の画像を走査し、輪郭を表す値「４」の画素があった場合には、その座標を配列に記録し、点の個数を記憶する変数の値を１つ増加させる。これにより、補助情報としての輪郭の情報が抽出される。

次に、補助情報として指のつけねを用いる場合を想定して、指のつけねを抽出する１手法を説明する。撮影された画像上で、背景は明るく、手のひらはやや暗く表される。よって、補助情報抽出手段１０５は、例えば、上記の輪郭抽出手法と同様の３値化画像に基づいて以下のように抽出することができる。ここでは、手のひらは、指が画像上側に来るようにかざすものとしている。

（Ｃ１）補助情報抽出手段１０５は、画像上端の各画素から画像下方向に向かって走査し、背景を表す値「０」から手のひらを表す値「２」に変わる変化があった場合に、その画素の値を、つけね候補を表す値「５」に変更する。
（Ｃ２）補助情報抽出手段１０５は、画像の全画素を１つずつ順番に走査し、つけね候補を表す値「５」を持つ画素が見つかったら、その左右の画素の値を調べる。補助情報抽出手段１０５は、左右の画素の値が、ともに手のひらを表す値「２」であった場合には、値「５」を、つけねを表す値「６」に変更する。

補助情報抽出手段１０５は、輪郭抽出の場合と同様の方法で、指のつけねを表す画素の座標値を配列に格納する。図４は、各画像に対する指のつけねの抽出例を示す図である。図４に示す例では、座標値を表す座標系は、原点を画像左上に取り、水平方向をｘ軸（画像右側正），垂直方向をｙ軸（画像下側正）とした座標系で表現する。

図５は、つけねの抽出結果の一例を示す図である。図５に示す１枚目は、画像ａ１０１を示し、２枚目は、画像ａ１０３を示し、３枚目は画像ａ１０５を示す。３枚目では、手が撮影装置に近接しすぎ、もしくは、利用者の手が大きいため、補助情報が２つしか抽出できていない。

《生体情報抽出手段》
生体情報抽出手段１０７は、生体情報の一例として静脈を抽出する１手法として、補助情報と一緒に抽出する方法を上述した。例えば、生体情報抽出手段１０７は、値「１」を示す画素を抽出すればよい。

以下では、生体情報抽出手段１０７は、図４に示す画像から静脈を抽出するとする。生体情報抽出手段１０７は、図４に示す１枚目の画像ａ１０１、２枚目の画像ａ１０３からは、静脈像を抽出することはできない。これは、１枚目の画像と、２枚目の画像とが、撮影装置からの適切な位置よりも離れているためである。

生体情報抽出手段１０７は、３枚目の画像ａ１０５から生体情報を抽出する。図６は、抽出された生体情報の一例を示す図である。図６に示す例では、静脈像は、３本の線分から構成されており、１つ目の線分は（２０，２０），（２０，８０），２つ目の線分は（５０，２０），（５０，８０），３つ目の線分は（８０，２０），（８０，８０）をそれぞれ端点としている。図６に示す例では、説明を簡単にするため、シンプルな静脈像を表す。

なお、上述した補助情報及び生体情報の抽出手法では、補助情報は、座標値の配列として表現され、静脈像は２値画像として表現される。その他に、記憶容量の削減や類似度算出処理の高速化のため、静脈像から特徴量を算出してそれらを記憶し、認証時には特徴量の比較によって類似度を算出する方法も考えられる。

特徴量としては，例えば、静脈像を構成する点の座標値、あるいは静脈像を細線化して折れ線近似したときの各折れ線の頂点、分岐点や端点等の特徴点の座標値が考えられる。実施例では、静脈像の表現形態はいずれを用いてもよい。

《追跡手段》
追跡手段１０９は、画像毎に抽出された補助情報を時間方向に追跡する。以下では、補助情報として、指つけねと、手のひらの輪郭形状との場合について説明する。

（指つけねの場合）
補助情報として指つけねを用いる場合に、動画像において補助情報を追跡する１手法を説明する。

（Ｄ１）初期化
追跡手段１０９は、初期化されたつけねの位置を記憶する配列を用意する。追跡手段１０９は、この配列に値が設定されているかどうかを表す変数を用意し、未設定を表す値を設定する。

（Ｄ２）存在確認
追跡手段１０９は、データの存在確認として、処理すべきデータ（補助情報）があるかどうかを判定する。認証処理の終了によりデータがなくなった場合には、追跡手段１０９は、処理を終了する。

（Ｄ３）補助情報の読み込み
追跡手段１０９は、補助情報の読み込み動画像のうち、追跡対象の１枚の画像に対するつけねの位置を読み込む。以下では、追跡対象画像から抽出された１又は複数のつけねを第１のつけねや今回のつけねとも称する。

配列につけねの位置が記憶されていない初回の場合、追跡手段１０９は、第１のつけねの位置を記憶し、記憶の有無を表す変数を、設定済を表す値に変更する。追跡手段１０９は、つけねの位置を記憶する際、個々のつけねを定められた基準に従って１列に並べて、その順番で配列に記憶する。

（Ｄ４）初回処理の場合
追跡手段１０９は、初回処理の場合、以降の補助情報の対応付け処理を行わない。

（Ｄ５）補助情報の対応付け
追跡手段１０９は、第２のつけねと第１のつけねとを対応付ける。第２のつけねとは、前回のつけねとも称し、追跡対象画像の直前の画像から抽出された１又は複数のつけねを言う。対応付けの詳細は後述する。

この際、対応が付けられなかった第２のつけねの一部については，追跡手段１０９は、撮影範囲外に出たと判断し、つけねの位置の推定を行い、推定された位置を代わりに用いる。これにより、補助情報が撮影範囲外になった場合でも、補助情報の欠損を補うことができる。得られた対応付けに基づいて、第１のつけねを、対応する個々のつけねが同じ順番になるように並べる。追跡手段１０９は、並べた結果を配列に記憶する。以下、追跡手段１０９は、動画像の次の画像に対して、上記の処理を繰り返す。

次に、追跡手段１０９による補助情報の対応付けと推定を行う１手法を説明する。最初に、前回と今回でどのつけねがどのつけねと対応しているかを定める。追跡手段１０９は、例えば、第１のつけねのうちの１つのつけね（対応対象つけねとも称する）に対して、距離（座標値の差の２乗平均）が最も小さい第２のつけねを対応付ける。

追跡手段１０９は、距離が所定の閾値（例えば画像サイズの１／３）よりも大きい場合には、対応対象つけねに対し、「対応なし」と設定する。第１のつけねを適当な方法で１列に並べ、１から始まる番号を与える。適当な方法とは、例えば水平方向の座標値が小さい順につけねを並べる。

第２のつけねには、対応している第１のつけねと同じ番号を与える。第１のつけねと対応しない第２のつけねには、新しい番号を与える。つけねの番号は、ｉの添字で表す。

これより、第２のつけねの位置は、（ｐｉ，ｑｉ）（ｉ＝１，...，ｍ，ｎ＋１，...，ｋ）、第１のつけねの位置は、（ｘｉ，ｙｉ）（ｉ＝１，...，ｎ）という座標値の配列で表される。ｍは、対応するつけねの数、ｎ−ｍは、第１のつけねのみ存在するつけねの数、ｋ−ｎは、第２のつけねのみ存在するつけねの数を表す。

図５に示す抽出例に対して、つけねの対応付けを行った結果を説明する。図７は、１枚目（前回位置）と２枚目（今回位置）との補助情報の対応関係を示す図である。図７に示す例では、ｍ＝４，ｎ＝４，ｋ＝４である。図８は、２枚目（前回位置）と３枚目（今回位置）との補助情報の対応関係を示す図である。図８に示す例では、ｍ＝２，ｎ＝２，ｋ＝４である。

次に、追跡手段１０９は、補助情報の時間変化をモデル化する。手をかざすシーンにおいて、撮影画像上のつけねの座標値は時々刻々と変化するが、変化にはかざし方に依存した一定の法則がある。

例えば、手のひらをカメラの視線に直交するように近づける場合には、つけねの座標値の変化は、２次元的な拡大縮小で適切に近似される。数式を用いると以下のように表される。第２のつけねのうちの１つのつけねの位置を（ｐ，ｑ），対応する第１のつけねの位置を（ｘ，ｙ）とすると、式（１）が成り立つ。

ここで、ｓは拡大率であり正の実数、ｃｘ，ｃｙはカメラの光軸中心であり、ほぼ画像中心に等しい。

次に、追跡手段１０９は、モデルパラメータを求める。モデルとして２次元的な拡大縮小を用いる場合には、モデルパラメータは拡大率ｓである。モデルパラメータの算出には、例えば、最小２乗法を用いる。具体的には、以下の評価関数を最小にするｓを解とする。

追跡手段１０９は、上記の評価関数は、ｓについて２次式であるので、簡単に最小化することができる。この解は以下に示される。

図７、８の対応付けの例において、光軸中心を画像中心ｃｘ＝５０，ｃｙ＝５０として上式を用いて計算すると、それぞれｓ＝１．５とｓ＝２となる。つまり、手のひらが撮影装置に近づいたため、１枚目と２枚目とでは１．５倍に、２枚目と３枚目とでは２倍に拡大しているという結果となる。

最後に、追跡手段１０９は、第１のつけねと対応しない第２のつけね（ｐ，ｑｉ）（ｉ＝ｎ＋１，...，ｋ）に対して、第１のつけねの画像上での位置（ｘｉ，ｙｉ）を下式で推定する。

図８に示す２枚目と３枚目との対応付けにおいて、上式（４）による推定値を含めた結果を図９に示す。

図９は、推定値を含む対応付けされた補助情報の一例を示す図である。図９に示す番号３と番号４との今回位置のつけねは撮影範囲外であるが、推定値が挿入されている。

なお、より自由なかざし方を認める場合のモデルとして、追跡手段１０９は、例えばアフィン変換を用いる。手のひらがカメラの視線に直交する状態で回転、平行移動、撮影装置に近づける等の動きをする場合には、指のつけねの座標値の変化は、アフィン変換で適切に近似することができる。アフィン変換は、２次元的な平行移動、回転、拡大縮小を含む変換である。数式を用いると以下のように表される。

第２のつけねのうちの１つのつけねの位置を（ｐ，ｑ）、対応する第１のつけねの位置を（ｘ，ｙ）とすると、次の式が成り立つ。

ここで、ａｘ，ｂｘ，ｃｘ，ａｙ，ｂｙ，ｃｙはアフィン変換を表す未知のパラメータである。これらのパラメータの決定も、例えば最小２乗法で行うことができる。この場合には、追跡手段１０９は、以下の評価関数を最小にするパラメータを解とする。

上記の評価関数は、未知パラメータについて２次式であるので、１階微分を０と置いた連立１次方程式を解くことで簡単に解を求めることができる。

なお、アフィン変換の未知パラメータの個数が６であるため、解を求めるためには、対応するつけねの個数ｍが３以上であることが必要である。ｍが３よりも小さい場合には、例えば、追跡失敗として利用者に再度かざしてもらうことが考えられる。または、アフィン変換よりも簡単な変換を用いることが考えられる。アフィン変換よりも簡単な変換としては、例えば相似変換が考えられる．
相似変換は、アフィン変換でａｘ＝ｂｙ，ｂｘ＝−ａｙに限定したものである。従って、未知数のパラメータの個数が４になるため、追跡手段１０９は、対応するつけねの個数ｍが２であっても解を求めることができる。アフィン変換を用いる場合、第１のつけねと対応しない第２のつけね（ｐｉ，ｑｉ）（ｉ＝ｎ＋１，...，ｋ）に対して、追跡手段１０９は、追跡対象画像上での位置（ｘｉ，ｙｉ）を下式で推定する。

さらに、自由なかざし方を認める他のモデルとしては、例えば射影変換が考えられる。数式を用いると以下のように表される。第２のつけねのうちの１つのつけねの位置を（ｐ，ｑ），対応する第１のつけねの位置を（ｘ，ｙ）とすると、下式が成り立つ。

射影変換は、手のひらの形を３次元空間内の平面、撮影手段１０３の光学系を透視投影と見なしたときのモデルであり、手のひらが傾いている場合にも適用可能である。ただし、モデルパラメータの決定には、４点の対応が必要となる。

なお、追跡手段１０９は、対応付けされた補助情報の個数に基づいて、使用するモデルを変更してもよい。追跡手段１０９は、例えばｍが４の場合は射影変換モデルを用い、ｍが３の場合は、アフィン変換モデルを用い、ｍが２の場合は、相似変換モデルを用い、ｍが１の場合は拡大縮小モデルを用いてもよい。

（輪郭の場合）
次に、補助情報として、輪郭を用いる場合について説明する。指つけねと異なり、輪郭を構成する点は繋がっているため、前回の輪郭と今回の輪郭の対応点は容易には求められない。解決策としては、例えば以下の２方法が考えられる。
・輪郭を形成する点から特徴的な点を選び出す方法
・輪郭を構成する点の時間変化をモデル化して、対応点を取らずに変換パラメータを定める方法
１つ目の特徴的な点の選びかたとしては、例えば、曲率の極大点（曲がり方が大きい点）を用いることが考えられる。追跡手段１０９は、代わりに、注目点と一定画素（例えば５画素）離れた２点を結んだ２線分のなす角度が１８０度から最も離れる数点を選択してもよい。特徴的な点を選び出した後は、指つけねと同様の方法で追跡を行うことができる。

２つ目の方法の１例として、モデルとして２次元的な拡大縮小を用いる方法を示す。以下にその手順を説明する。

（Ｅ１）追跡手段１０９は、初期化距離の総和の最小値と、そのときの拡大率を保持する変数を用意する。最小値として無限大あるいは十分大きな値を設定する。追跡手段１０９は、拡大率ｓに初期値として例えば０．５を設定する。

（Ｅ２）追跡手段１０９は、距離の計算設定された拡大率で、今回の境界を形成する各点の座標を変換する。追跡手段１０９は、変換された座標値に最も近い前回の境界を形成する点を求めて、そこまでの距離の総和を求める。

（Ｅ３）追跡手段１０９は、距離の比較算出された距離の総和がこれまでの最小値よりも小さい場合には、最小値を置き換え、そのときの拡大率を保持する。

（Ｅ４）追跡手段１０９は、拡大率の変更拡大率ｓを適当な刻み幅（例えば０．１）で大きくする。追跡手段１０９は、上限（例えば２）に達したら終了する。

（Ｅ５）追跡手段１０９は、繰り返し再度距離の計算を行う。

上記の方法で、今回の境界を形成する各点に対して、その変換された座標値に最も近い前回の境界を形成する点がお互いに対応するとみなすことで、輪郭点の対応付けを行うことができる。追跡手段１０９は、指つけねの追跡の場合と同様に、距離に関して閾値を設けこともできる。

《対応付け手段》
対応付け手段１１１は、追跡して得られた補助情報と抽出された生体情報とを、ひとまとまりのデータにまとめる。生体情報が得られなかった画像については、対応付け手段１１１は、対応付けを行わない。図３に示す動画像の例に対して、対応付けられた結果を図１０と図１１とに示す。

図１０は、生体情報の一例を示す図である。図１１は、追跡後の補助情報の一例を示す図である。図１１に示す例では、座標のｘが小さい順に並べ替えられている。対応付け手段１１１は、図１０に示す生体情報と、図１１に示す補助情報とを対応付ける。

《記憶手段》
認証装置２０の記憶手段２０５は、利用者のＩＤと、補助情報と、生体情報としての静脈像とを対応付けて記憶する。記憶手段２０５は、典型的には以下の形式のデータベースとして認証装置２０内に実現される。

図１２は、生体情報に関するデータベースの一例を示す図である。図１２に示す例では、補助情報、静脈像は、一定の規則に従って数字の列に変換して記憶される。例えば、図１２に示すデータベースでは、座標値の列で表す場合には、補助情報の点数、水平垂直の座標値の列が用いられ、静脈像を画像で表す場合には，画素値を１列に並べた数字列が用いられる。

図１３は、登録生体情報の一例を示す図である。図１３に示す例は、登録されている生体情報としての静脈像の画像である。図１４は、登録補助情報の一例を示す図である。図１３に示す生体情報と、図１４に示す補助情報とが図１２に示す利用者ＩＤ「０００１」に登録されている。

図１２に示すように、図１４に示す補助情報は、その個数が４、座標値が小さい番号から水平（ｘ）垂直（ｙ）の順に並べられ、「４，−１２，５０，...」として記憶手段２０５に登録される。

また、図１２に示すように、図１３に示す生体情報は、その画素値が所定の順で一列に並べられ、「０，...，１，０，...，１，...」として記憶手段２０５に登録される。

《位置合わせ手段》
次に、補助情報を用いて位置合わせを行う手法の例について説明する。ここでは、平行移動による位置合わせのみを行う場合を扱う。例えば、照合データの座標を基準とし、登録データの座標値の移動量を定めるものとする。

（Ｆ１）初期化
位置合わせ手段２０７は、初期化として、補助情報の座標値の総和を保持する変数を用意し、０に初期化する。初期化処理は、x 座標、y 座標別々に行う。

（Ｆ２）座標値の総和計算
位置合わせ手段２０７は、登録データ、照合データそれぞれに対して、補助情報の座標値の総和を計算する。

（Ｆ３）重心位置の算出
位置合わせ手段２０７は、座標値の総和を、補助情報の点数で割って、重心位置を算出する。

（Ｆ４）移動量の算出
位置合わせ手段２０７は、照合データ側の重心位置から登録データ側の重心位置を引くことで、移動量を算出する。

位置合わせ手段２０７は、図１１に示す照合データと、図１４に示す登録データとで、移動量を算出すると、移動量を算出すると（２，１）を得る。従って、位置合わせ後の登録データの静脈像は、図１５に示す通りとなる。

図１５は、位置合わせ後の生体情報の一例を示す図である。図１５に示す例は、図１３に示す生体情報を（２，１）移動させた例である。

なお、手の置き方の不安定性により、登録照合間では平行移動以外にも回転等の様々な変化が起こりえる。よって、位置合わせ手段２０７は、それらに対応できるように複雑な移動方法を用いることも可能である。また、位置合わせ手段２０７は、補助情報と静脈像の両方を用いて位置合わせを行うことも可能である。実施例では、位置合わせ処理の手法についてはいずれの手法を用いてもよい。

なお、登録、認証時に補助情報の追跡を行わないと、図１１に示す抽出例と図１４に示す登録データ例において、補助情報の１番と４番が欠けることになる。この場合には、移動量は（２，２）となる。このときの位置合わせ後の登録データの静脈像は、図１６となる。図１６は、追跡なしの場合の位置合わせ後の生体情報の一例を示す図である。図１６に示す生体情報は、図１５に示す生体情報と比べて、ｙ方向に「１」だけずれている。

《類似度算出手段》
類似度算出手段２０９は、静脈像が２値画像として表現される場合、類似度を、例えば以下の方法で算出する。

（Ｇ１）初期化
類似度算出手段２０９は、注目画素を画像左上に設定する。一致した画素の個数を保持する変数（カウンタ）と、静脈像を形成する画素の個数を保持する変数とを用意し、それぞれ０に初期化する。

（Ｇ２）画素値の比較
類似度算出手段２０９は、注目画素における、２枚の画像の画素の値を獲得して比較する。類似度算出手段２０９は、両者がともに静脈像を表していれば、一致個数のカウンタの値を１つ増加させる。どちらかが静脈像を表していれば静脈像のカウンタの値を１つ増加させる。

（Ｇ３）注目画素の移動
類似度算出手段２０９は、注目画素を１つ右に移動する。注目画素が右端の場合には、類似度算出手段２０９は、注目画素を１つ下の左端に移動する。注目画素が右下の場合には、類似度算出処理が終了する。

（Ｇ４）繰り返し
類似度算出手段２０９は、再度、画素値の比較を行う。

（Ｇ５）類似度出力
類似度算出手段２０９は、前画素での処理が終わると、一致個数のカウンタの値を静脈像のカウンタの値で割った値を類似度とする。

図１１に示す抽出例と図１５に示す登録データ例に対する類似度算出結果は、次の通りである。
１６２／１８６≒０．８７１
図１６に示す補助情報の追跡を行わない場合には，類似度算出結果は、次の通りである。
１５９／１８９≒０．８４１
これにより、補助情報の追跡により位置合わせがより正確になり、類似度が向上していることが分かる。

《判定手段》
判定手段２１１は、類似度算出手段２０９で算出された類似度と、予め設定された閾値Ｔｈとを比較し、閾値Ｔｈよりも大きい場合には、本人あるいは登録者の１人と判定する。

閾値Ｔｈの決め方の一例は以下の通りである。評価用に多人数の生体情報を収集し、これらの生体情報と様々な閾値に対して、他人受入率（他人の照合データを誤って本人と判定する割合）を算出する。この他人受入率が１／１万（４桁の暗証番号と同じ精度）となる閾値を調べて、その閾値を閾値Ｔｈとすればよい。

次に、判定結果の例について説明する。上記閾値が０．８５であったとする。補助情報の追跡を行わない場合の類似度は０．８４１であるので、判定手段２１１により本人とは判定されない。補助情報の追跡を行う場合には、類似度が０．８７１であるので，判定手段２１１により本人と判定される。よって、補助情報の追跡を行うことで、生体認証の認証制度を向上させることができる。

この判定結果が、生体情報処理装置１０に送信されることで、例えば、自動ドアの開閉が制御される。

＜動作＞
次に、認証システム１の動作について説明する。まず、認証処理について説明する。図１７は、実施例１における認証処理の一例を示すフローチャートである。図１７に示すステップＳ１０１で、照射手段１０１は、手のひらがかざされたことを検知すると、手のひらに近赤外光を照射する。なお、生体情報を取得する体の部位は、手のひらを例に挙げるが、手のひらに限られない。

ステップＳ１０２で、撮影手段１０３は、近赤外光が照射された手のひらを撮影する。この際、利用者のＩＤをＩＣカード、キーボード等から受け付けてもよい。

ステップＳ１０３で、補助情報抽出手段１０５は、撮影手段１０３により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出する。補助情報は、例えば、手のひらの輪郭の情報や、指のつけねの情報である。

ステップＳ１０４で、生体情報抽出手段１０７は、撮影手段１０３から取得した複数の画像のうちの少なくとも１つの画像から、生体情報を抽出する。生体情報は、例えば静脈像や掌紋などである。

ステップＳ１０５で、追跡手段１０９は、補助情報抽出手段１０５から抽出された補助情報を時間方向に追跡する。追跡手段１０９は、補助情報の時間変化のモデルを用いて、撮影範囲外に位置する補助情報を推定値で置き換える。

また、追跡手段１０９は、追跡対象画像から抽出された第１の補助情報と、追跡対象画像の直前の画像から抽出された第２の補助情報とで追跡を行って、対応が取れた補助情報の数に応じて、時間変化のモデルを変更してもよい。

ステップＳ１０６で、対応付け手段１１１は、生体情報が抽出された画像から抽出され、追跡された補助情報と、抽出された生体情報との位置関係を対応付ける。

ステップＳ１０７で、位置合わせ手段２０７は、記憶手段２０５に記憶されている登録された補助情報を用いて、生体情報である静脈像の位置合わせを行う。

ステップＳ１０８で、類似度算出手段２０９は、登録された生体情報（登録データ）と、認証対象の生体情報（照合データ）との類似度を算出する。

ステップＳ１０９で、判定手段２１１は、算出された類似度が、予め与えられた閾値よりも大きいかどうかを判定する。判定結果は、通信手段２０１を介して、生体情報処理装置１０に送信される。

ステップＳ１１０で、開閉手段１１７は、判定結果が登録者であることを示していれば、自動ドアを開くよう制御する。開閉手段１１７は、判定結果が登録者ではないことを示していれば、自動ドアを閉じたままに制御する。

なお、ステップＳ１０３と、ステップＳ１０４〜Ｓ１０５の処理は、順不動である。

次に、補助情報の追跡処理について説明する。図１８は、実施例１における補助情報の追跡処理の一例を示すフローチャートである。図１８に示すステップＳ２０１で、追跡手段１０９は、初期化されたつけねの位置を記憶する配列を用意する。追跡手段１０９は、この配列に値が設定されているかどうかを表す変数を用意し、未設定を表す値を設定する。

ステップＳ２０２で、追跡手段１０９は、データの存在確認として、処理すべきデータ（補助情報）があるかどうかを判定する。補助情報があれば（ステップＳ２０２−ＹＥＳ）ステップＳ２０３に進み、補助情報がなければ（ステップＳ２０２−ＮＯ）処理は終了される。

ステップＳ２０３で、追跡手段１０９は、補助情報の読み込み動画像のうち、追跡対象の１枚の画像に対するつけねの位置を読み込む。

ステップＳ２０４で、追跡手段１０９は、初回処理の場合であるかどうかを判定する。初回処理であれば（ステップＳ２０４−ＹＥＳ）ステップＳ２０２に進み、初回処理でなければ（ステップＳ２０４−ＮＯ）ステップＳ２０５に進む。

ステップＳ２０５で、追跡手段１０９は、第２のつけねと第１のつけねとを対応付ける。以下、追跡手段１０９は、動画像の次の画像に対して、上記の処理を繰り返す。

次に、生体情報及び補助情報の登録処理について説明する。図１９は、実施例１における生体情報及び補助情報の登録処理の一例を示すフローチャートである。図１９に示すステップＳ３００で、生体情報処理装置１０は、登録を希望する利用者のＩＤをＩＣカードやキーなどから入力する。

ステップＳ３０１〜Ｓ３０６の処理は、図１７に示すステップＳ１０１〜Ｓ１０６の処理と同様であるため、説明を省略する。このとき、通信手段１１３は、利用者のＩＤと、補助情報と、生体情報とを認証装置２０に送信する。

ステップＳ３０７で、登録手段２０３は、通信手段２０１を介して取得した利用者のＩＤと、補助情報と、生体情報とを記憶手段２０５に記録する。これにより、追跡された補助情報に対応付けられた生体情報を登録することができる。

以上、実施例１によれば、適切な撮影位置での撮影範囲に補助情報が含まれない場合でも、補助情報の追跡を行うことで、生体情報の認証精度を向上させることができる。例えば、実施例１によれば、手近辺の生体情報を用いる生体認証において、撮影範囲に収まらない大きな手に対しても、補助情報を追跡により推定して取得することができる。大きな手とは、撮影範囲に補助情報が含まれない手のことをいう。

［実施例２］
次に、実施例２における認証システムについて説明する。実施例１では、補助情報の一部分が追跡できることを前提としていた。しかし、利用者の手のかざし方が悪い場合には、補助情報の追跡ができなくなる可能性がある。そこで、実施例２では、補助情報が少しでも多く撮影されるように、利用者に対して誘導を行う。

これにより、補助情報の取得が最適に行える方向に利用者を誘導することで、補助情報の追跡処理の継続可能性を高める。

＜構成＞
図２０は、実施例２における認証システム２の構成の一例を示すブロック図である。図２０に示す構成において、図１に示す認証システム１の構成と同様のものは同じ符号を付す。以下、実施例１と異なる構成について主に説明する。

生体情報処理装置１５の対応付け手段３０１は、対応付けた補助情報と生体情報とを通信手段１１３に通知するとともに、誘導手段３０３にも通知する。

誘導手段３０３は、補助情報の時間変化に基づいて補助情報の位置を予測し、予測された補助情報が撮影範囲外であれば、撮影範囲内に収まる位置に利用者を誘導する。誘導手段３０３は、例えば、表示手段３０５に対して音声で誘導するよう制御したり、又はＬＥＤなどで誘導するよう制御したりする。

表示手段３０５は、誘導手段３０３からの指示により音声やＬＥＤなどを用いて利用者の手のかざす位置を表示する。次に、実施例２における主な処理について説明する。

《誘導手段》
誘導手段３０３は、補助情報の追跡により、今後、撮影範囲に収まる補助情報と撮影範囲からはみだす補助情報を予測することができる。利用者の動きを大きく変更する誘導は利便性が良くないので、誘導手段３０３は、基本的には予測した移動先から一定範囲内で最も補助情報が残る方向に誘導する。

この際、生体情報が動画像のどの画像で抽出可能となるかを推定して誘導を行うことが好ましい。これには以下の２通りの方法が考えられる。
・距離情報を使う方式
・距離情報を使わない方式
まず、距離情報を使う方式を説明する。距離情報は、通常の撮影とは別に手のひらまでの距離を計測する手段を備えて取得する。一般的には、カメラ以外の距離計測装置を用いる方法とパターン光を投影する照明装置を備えてパターン光による撮影結果から距離を算出する方法が考えられる。開示の技術では、距離情報の取得方法は公知の技術のいずれでもよい。

距離情報を用いる場合の推定方法の一例について説明する。予め生体情報が抽出可能な距離範囲を評価実験等によって求めておく。ここでは、手かざしで距離が減少する場合を扱うとする。

（Ｈ１）初期化
誘導手段３０３は、初回の撮影で得られた距離情報を前回の距離情報とする。前回の距離情報をｄ１とする。

（Ｈ２）距離情報の入力
誘導手段３０３は、今回の撮影画像取得時の距離情報を入力する。今回の距離情報をｄ２とする。

（Ｈ３）抽出可能かどうかの判定
誘導手段３０３は、前回の距離情報および今回の距離情報が生体情報の撮影可能範囲にあれば、前回および今回の画像を、生体情報を抽出可能と推定する。この場合には、誘導手段３０３は、撮影済なので利用者への誘導は行わない。

（Ｈ４）距離の推定
誘導手段３０３は、次回の撮影時の距離を、例えばｄ３＝ｄ２−（ｄ１−ｄ２）で推定する。ｄ３は、推定された次回撮影時の距離情報である。

（Ｈ５）タイミングの推定
誘導手段３０３は、ｄ３が生体情報の撮影可能範囲にあれば、次回の撮影で抽出可能と推定する。ｄ３が撮影可能範囲を下回っていれば。利用者の動きが速すぎるので減速するように誘導し、次回の撮影で抽出可能と推定する。ｄ３が撮影可能範囲を上回っていれば、前回の距離情報を今回の距離情報で置き換えて再び距離情報の入力を行う。

次に、距離情報を使わない方式を説明する。この場合、誘導手段３０３は、撮影装置から離れている大きい手と、撮影装置の近くにある小さい手との区別を行う。この区別に利用可能な手がかりとしては、例えば手の輝度が挙げられる。予め距離毎に標準的な手の輝度を測定することで、生体情報処理装置１０は、輝度と距離の対応表を作成しておく。誘導手段３０３は、撮影画像の輝度とこの対応表から、距離を求めることができる。後の処理は、距離情報を使う場合と同様である。

以降では，簡単のため、次回の撮影で生体情報が抽出可能になると推定された場合の処理を説明する。まず、誘導手段３０３は、次回の撮影画像における各補助情報の位置を推定する。

位置の推定は、例えば、今回と前回の位置を線形補外することで行う。または、距離が利用可能なときは、誘導手段３０３は、手の動きは距離に関して等速とみなして、次回の距離を推定する。次に、誘導手段３０３は、各補助情報の光軸中心からの位置は距離に反比例すると考えて、補助情報の位置を推定してもよい。

図７に示す抽出例に対して、後者の方法で３枚目の画像の補助情報の位置を推定する例を説明する。１枚目の撮影距離は１５ｃｍ、２枚目の撮影距離は１０ｃｍであるとする。これより、３枚目の撮影距離は５ｃｍと推定される。従って、２枚目の撮影距離の半分であるので、各補助情報は、光軸中心から２倍離れると推定される。これより、３枚目の画像の補助情報の推定位置は、図２１に示す通りとなる。図２１は、推定された補助情報の一例を示す図である。

次に、誘導手段３０３は、誘導する方向を定める。図７に示す抽出例ではこのままだと図２１に示すように２点しか撮影範囲に収まらないことが推定される。例えば、６画素までの範囲で最も点数を増やす場合には、画面上で６画素左に移動することが考えられる。

そこで、誘導手段３０３は、利用者には少し画面左側に手のひらを動かすように誘導する。なお、誘導の結果、左に行き過ぎて劣化する可能性も考えられる。そのような場合には、誘導手段３０３は、再度手をかざすように指示する。

誘導を指示する表示手段３０５としては、ＬＥＤの点滅、音声ガイダンス等が考えられる。図７に示す抽出例において、少し画面左側に手のひらを動かすように誘導したとする。

図２２は、誘導後の生体情報の一例を示す図である。図２３は、誘導後の補助情報の一例を示す図である。例えば、３枚目の生体情報の静脈像として図２２が得られ、補助情報として図２３が得られる。

《類似度算出、判定処理》
図２３の誘導後の生体情報の例と図１３に示す登録データ例とに対して、類似度算出手段２０９は、実施例１と同一の類似度算出方法を用いた場合の類似度を算出する。類似度算出手段２０９は、次の類似度を得る。
１６５／１８３≒０．９０２
誘導手段３０３によって、位置合わせがより正確になり、類似度が向上していることが分かる。判定手段２１１で閾値Ｔｈが０．８５ とする場合には本人と判定されるが、他人受入率をより小さくするため、閾値Ｔｈを０．９０に上げた場合でも、同様に本人と判定される。

＜動作＞
次に、実施例２における認証システム２の動作について説明する。図２４は、実施例２における認証処理の一例を示すフローチャートである。図２４に示すステップＳ４０１〜Ｓ４０６の処理は、図１７に示すステップＳ１０１〜Ｓ１０６の処理と同様であるため、その説明を省略する。

ステップＳ４０７で、誘導手段３０３は、補助情報の追跡を行うことで、今後、撮影範囲に収まる補助情報と撮影範囲からはみだす補助情報を予測する。誘導手段３０３は、この予測に基づいて撮影範囲に補助情報が入るように誘導を行う。

ステップＳ４０８〜Ｓ４１１の処理は、図１７に示すステップＳ１０７〜Ｓ１１０の処理と同様である。

以上、実施例２によれば、助情報の取得が最適に行える方向に利用者を誘導することで、補助情報の追跡処理の継続可能性を高めることができる。これにより、適切な撮影位置での撮影範囲に補助情報が含まれない場合でも、生体情報の認証精度を向上させることができる。

［変形例］
上記各実施例の変形例として、距離情報が利用可能な場合には、生体情報抽出手段１０７に距離情報を渡し、距離値が予め設定された範囲にある場合にのみ抽出処理を行うようにすることも可能である。これにより、生体情報抽出手段１０７が不適切な画像から誤って疑似の生体情報を抽出する危険性を下げることができる。

各実施例の生体情報処理装置は、認証装置を含み、生体認証処理を行ってもよい。また、生体情報処理装置として、ＡＴＭ（Automatic teller machine）やＰＣ（Personal Computer）などが考えられる。

［実施例３］
次に、実施例３における情報処理装置について説明する。実施例３では、実施例１，２で説明した処理を、ＰＣやサーバなどの情報処理装置で行う。

＜構成＞
図２５は、実施例３における情報処理装置３０の構成の一例を示すブロック図である。図２５に示す情報処理装置３０は、制御部４０１、主記憶部４０３、補助記憶部４０５、通信部４０７、記録媒体Ｉ／Ｆ部４０９、入力部４１１、表示部４１３、及びカメラ４１５を少なくとも有する。各部は、バスを介して相互にデータ送受信可能に接続されている。

制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部４０１は、主記憶部４０３や補助記憶部４０５に記憶されたプログラムを実行する演算装置であり、通信部４０７や各記憶部からデータを受け取り、演算、加工した上で、出力部や各記憶部に出力する。

また、制御部４０１は、例えば補助記憶部４０５に記憶される実施例１や２の処理プログラムを実行することで、生体情報及び補助情報の出力処理などを行うことができる。

主記憶部４０３は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部４０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部４０５は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部４０５は、記録媒体４１７などから取得した実施例１、２の処理プログラムや、通信部４０７から取得した画像などを記憶しておいてもよい。通信部４０７は、有線又は無線などのネットワークを通じて通信を行う。

記録媒体Ｉ／Ｆ（インターフェース）部４０９は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記録媒体４１７（例えば、フラッシュメモリなど）と情報処理装置３０とのインターフェースである。

また、記録媒体４１７に、処理プログラムを格納し、この記録媒体４１７に格納された処理プログラムは記録媒体Ｉ／Ｆ部４０９を介して情報処理装置３０にインストールされる。インストールされた処理プログラムは、情報処理装置３０により実行可能となる。

入力部４１１は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４１３の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。また、入力部４１１は、利用者が制御部４０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部４１３は、例えばＬＣＤ（Liquid Crystal Display）等であり、制御部４０１から入力される表示データに応じた表示が行われる。

カメラ４１５は、例えばＣＭＯＳカメラやＣＣＤカメラなどであり、体の一部を動画で撮影する。

実施例１、２の記憶手段は、例えば補助記憶部４０５により実現されうる。実施例１、２の撮影手段は、例えばカメラ４１５により実現されうる。実施例１、２の通信手段は、例えば通信部４０７により実現されうる。また、実施例１、２のその他の手段は、例えば制御部３０１とワーキングメモリとしての主記憶部３０３により実現されうる。

情報処理装置３０で実行されるプログラムは、実施例１及び実施例２で説明した記憶手段以外の各手段を含むモジュール構成となっている。実際のハードウェアとしては、制御部４０１が補助記憶部４０５からプログラムを読み出して実行することにより上記各手段のうち１又は複数の各手段が主記憶部４０３上にロードされ、１又は複数の各手段が主記憶部４０３上に生成されるようになっている。

なお、前述した各実施例で説明した生体情報処理を実現するためのプログラムを記録媒体に記録することで、各実施例での生体情報処理をコンピュータに実施させることができる。例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯装置に読み取らせて、前述した生体情報処理を実現させることも可能である。

なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリー等、様々なタイプの記録媒体を用いることができる。なお、記録媒体は、搬送波を含まない。
以上、生体情報処理装置、生体情報処理方法及びプログラムを各実施例により説明したが、上記各実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

Claims (5)

1. 撮影手段により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出する補助情報抽出手段と、
   補助情報の時間変化のモデルを用いて前記補助情報を時間方向に追跡するとともに、撮影範囲外に位置する補助情報を推定値で置き換える追跡手段と、
   前記複数の画像のうちの少なくとも１つの画像から、前記生体情報を抽出する生体情報抽出手段と、
   追跡された前記補助情報と、抽出された前記生体情報との位置関係を対応付ける対応付け手段と、
   対応付けられた前記補助情報と前記生体情報とを出力する出力手段と、を備え、
   前記追跡手段は、追跡対象画像から抽出された第１の補助情報と、前記追跡対象画像の直前の画像から抽出された第２の補助情報とで追跡を行って、対応が取れた補助情報の数に応じて、前記モデルを変更する生体情報処理装置。
2. 前記生体情報は、手から抽出される生体情報であり、
   前記補助情報は、手の輪郭の情報又は指のつけねの情報である請求項１に記載の生体情報処理装置。
3. 前記補助情報の時間変化に基づいて該補助情報の位置を予測し、予測された補助情報が撮影範囲外であれば、撮影範囲内に収まる位置に利用者を誘導する誘導手段をさらに備える請求項１または２に記載の生体情報処理装置。
4. 撮影手段により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出し、
   補助情報の時間変化のモデルを用いて前記補助情報を時間方向に追跡するとともに、撮影範囲外に位置する補助情報を推定値で置き換え、
   前記複数の画像のうちの少なくとも１つの画像から、前記生体情報を抽出し、
   追跡された前記補助情報と、抽出された前記生体情報との位置関係を対応付け、
   対応付けられた前記補助情報と前記生体情報とを出力する処理をコンピュータが実行する生体情報処理方法であって、
   追跡対象画像から抽出された第１の補助情報と、前記追跡対象画像の直前の画像から抽出された第２の補助情報とで追跡を行って、対応が取れた補助情報の数に応じて、前記モデルを変更する生体情報処理方法。
5. 撮影手段により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出し、
   補助情報の時間変化のモデルを用いて前記補助情報を時間方向に追跡するとともに、撮影範囲外に位置する補助情報を推定値で置き換え、
   前記複数の画像のうちの少なくとも１つの画像から、前記生体情報を抽出し、
   追跡された前記補助情報と、抽出された前記生体情報との位置関係を対応付け、
   対応付けられた前記補助情報と前記生体情報とを出力する処理をコンピュータに実行させるプログラムであって、
   追跡対象画像から抽出された第１の補助情報と、前記追跡対象画像の直前の画像から抽出された第２の補助情報とで追跡を行って、対応が取れた補助情報の数に応じて、前記モデルを変更するプログラム。

Images