JP5293806B2 - 生体情報取得装置及び生体認証装置 - Google Patents

Description

本件は、手を利用した生体情報取得装置及び生体認証装置に関する。

手には、手のひらに掌紋、もしくは、占いで手相と呼ばれている、手の皺に起因する手の表面情報がある。また、指の関節にも、指の屈伸に起因する指の表面情報がある。手の表面情報を取得する技術として、次のような技術がある。

主に指を対象として、透過光を用いて撮影した画像と反射光を用いて撮影した画像との２枚の画像を使用する技術がある。反射光を用いて撮影した画像には、透過光を用いて撮影した画像よりも、より多くの表面情報が写る。そこで、２枚の画像の差分を取ることにより、対象物の表面情報が特定され得る。

また、凹凸がある物体に方向の異なる照明を与えると、異なる影が形成される。この現象を利用し、照明光の強度、照明光の方向、照明光の波長、撮影の方向、撮影の時間のうちいずれか１つまたは複数が異なる複数の照明を使用して、対象物が撮影される。これらの撮影された画像の差分を解析することにより、対象物の表面情報が特定され得る。
特開２００４−２５５２１２号公報 特開２００６−２４４２３４号公報 特開２００４−１８５２７６号公報 特開平０４−２７７８７４号公報 特開２００３−５０９９３号公報 特開２００６−９９７００号公報

複数の照明を対象物に照射することによって、対象物の表面情報を取得することが、行われている。複数の照明を備える装置は、照明部の構成が複雑になる。よって、複数の照明を対象物に照射して表面情報を取得する装置の製造における照明部のコストが増大する。

本件は、簡易な構成により、手の表面情報を取得する生体情報取得装置を提供することを目的とする。

開示の生体情報取得装置は、上記課題を解決するために、以下の手段を採用する。

即ち、第１の態様は、
ユーザの手の内側を手が伸ばされた第１の状態で撮影した第１画像と、前記ユーザの手の内側を手がたわんだ状態で撮影した第２画像とを取得する撮影部と、
前記第１画像及び前記第２画像のそれぞれから、暗線を抽出する暗線抽出部と、
前記第１画像における前記暗線の要素の特徴、並びに、前記第２画像における前記暗線の要素の特徴を抽出する暗線要素特徴抽出部と、
前記第１画像及び第２画像における暗線の要素の特徴の推移に基づいて、手の皺に起因する暗線を抽出する表面情報判定部と、
を備える生体情報取得装置とした。

開示によれば、簡易な構成により、手の表面情報を取得する生体情報取得装置を提供することができる。

図１は、本実施形態の生体情報取得装置の構成の例を示す図である。 図２は、手を開いた状態の例を示す図である。 図３は、手をたわました状態の例を示す図である。 図４は、本実施形態の生体情報取得装置の全体の動作フローを示す図である。 図５は、手の撮影の動作フローの例を示す図である。 図６は、認証センサ部及び手の状態例を示す図である。 図７は、ビーム光を使用した距離算出を説明する図である。 図８は、測距部がビーム光を照射した際に撮像部が撮影した画像の例を示す図である。 図９は、認証センサ部のキャリブレーションの動作フローの例を示す図である。 図１０は、手の領域の距離算出を説明する図である。 図１１は、平面正規化を説明する図である。 図１２は、平面正規化された手の画像上のある軸の暗線の部分及びその周辺の、輝度及び輝度の位置による一次微分の例を示す図である。 図１３は、表面情報の判定基準の例を示す図である。 図１４は、生体認証装置の例を示す図である。

符号の説明

２Ａ 伸ばされた手
２Ｂ たわんだ手
１０ 生体情報取得装置
１００ 認証センサ部
１１２ 照明部
１１４ 照明制御部
１２２ 撮像部
１２２Ａ レンズ
１２２Ｂ 撮像素子
１２４ 撮像制御部
１３２ 測距部
１３４ 測距制御部
１５０ 画像取得部
２１０ 手領域抽出部
２２０ 手領域距離算出部
２３０ 手領域平面正規化部
２４０ 暗線抽出部
２５０ 暗線要素特徴抽出部
２６０ 表面情報判定部
２７０ 生体変化情報記憶部
２８０ 生体表面特徴記憶部
５００ 静脈認証部
６００ 判定部
７００ 記憶部
１０００ 生体認証装置

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の実施形態の構成に限定されない。

〔実施形態〕
手の皺に起因する手の表面情報は、生活の習慣や環境に依存して変化することが、知られている。したがって、手の表面情報を、一個人の生涯を通じた特定情報として使用することは、困難である。

一方、手の表面情報は、変化するとはいえ、１−２日程度の短い期間で大きく変化することは通常ない。したがって、手の表面情報は、登録時刻と照合時刻との間隔が短いならば、一時的に使用できる生体認証用の認証情報として使用可能である。

（構成）
図１は、本実施形態の生体情報取得装置の構成の例を示す図である。図１の生体情報取得装置１０は、認証センサ部１００、手領域抽出部２１０、手領域距離算出部２２０、手領域平面正規化部２３０、暗線抽出部２４０を有する。また、生体情報取得装置１０は、暗線要素特徴抽出部２５０、表面情報判定部２６０、生体変化情報記憶部２７０、生体表面特徴記憶部２８０を有する。

手領域抽出部２１０、手領域距離算出部２２０、手領域平面正規化部２３０、暗線抽出部２４０、暗線要素特徴抽出部２５０、及び、表面情報判定部２６０、は、ハードウェアとしても、ソフトウェアとしても実現され得る。

これらの構成要素のうち２以上の構成要素が１つの処理部として機能してもよい。これらの構成要素のうちいずれか１つの構成要素が、複数の処理部として機能してもよい。以後に記載される構成要素についても同様である。

生体情報取得装置１０の認証センサ部１００は、照明部１１２、照明制御部１１４、撮像部１２２、撮像制御部１２４、測距部１３２、測距制御部１３４、画像取得部１５０を有する。認証センサ部１００は、静脈認証用の認証センサとしても使用され得る。

照明制御部１１４、撮像制御部１２４、測距制御部１３４、及び、画像取得部１５０は、ハードウェアとしても、ソフトウェアとしても実現され得る。

撮像部１２２は、ユーザの手を撮影することができる。撮像部１２２は、少なくともレンズ１２２Ａ及び撮像素子１２２Ｂを含む。撮像部１２２の撮像素子１２２Ｂとして、例えば、ＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）が使用されるが、撮像部１２２の撮像素子１２２ＢはＣＣＤイメージセンサに限定されるものではない。撮像部１２２の撮像素子１２２Ｂとして、ＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)等の他の撮像素子を使用することも可能である。

撮像制御部１２４は、撮像部１２２に向けられた手を撮影することを、撮像部１２２に指示する。撮像制御部１２４は、撮像部１２２に向けられた複数の状態の手を撮影することを、撮像部１２２に指示できる。

図２は、手の内側を開いた状態の手を示す図である。図２の手２Ａは、手の内側が伸ばされた状態の手である。図２のように手の内側を開いた状態（手の内側が伸ばされた状態）では、手の内側の表面形状はほぼ平面になる。

図３は、手の内側をたわました状態の手を示す図である。図３の手２Ｂは、手の内側がたわんだ状態の手である。図３のように手の内側をたわました状態（手の内側がたわんだ状態）では、手の内側の表面形状は曲面に相当する。

照明部１１２は、照明制御部１１４からの制御に基づき、点灯または消灯する。照明部１１２として、白熱灯、蛍光管、ＬＥＤ（Light Emitted Device）等が使用され得るが、これらに限定されるものではない。照明部１１２の照明の強さは、照明部１１２から近距離（例えば、１０ｃｍ以下）の範囲までしか届かないように設定される。照明部１１２は、照明の強さを照明部１１２から近距離の範囲までしか届かないようにすることで、認証センサ部１００に向けられた手のみに、照明を当てることができる。

照明制御部１１４は、手の画像取得の際、照明部１１２の点灯または消灯を制御する。また、照明制御部１１４は、手の距離計測の際、照明部１１２の照明を消灯させること指示することができる。

測距制御部１３４は、手の距離計測の際、測距部１３２に対し、手にビーム光を照射することを指示する。測距制御部１３４は、測距部１３２が所定の方向にビーム光を照射することにより、手までの距離を計測することができる。

測距部１３２は、測距制御部１３４からの制御に基づき、手にビーム光を照射する。測距部１３２としてレーザ光源等が使用され得るが、測距部１３２はこれに限定されるものではない。測距部１３２は、複数のレーザ光源等としてもよい。測距部１３２は、少なくとも１つのビーム光が手に照射されるように設置される。測距部１３２のビームの方向は、固定されていてもよいし、可変であってもよい。

画像取得部１５０は、照明制御部１１４、撮像制御部１２４、及び、測距制御部１３４
に対して、手の画像取得または手の距離計測を指示する。画像取得部１５０は、ユーザに対して、認証センサ部１００に手の内側を向けることを促す。画像取得部１５０は、ユーザに対して、手の内側を伸ばした状態及び手の内側をたわました状態で、認証センサ部１００に手の内側を向けることを促し得る。画像取得部１５０は、撮像制御部１２４から撮影した画像を受信し、手領域抽出部２１０に送信する。また、画像取得部１５０は、測距部１３２からビーム光を照射して撮像部１２２で撮影した画像を、撮像制御部１２２から受信する。画像取得部１５０は、撮像部１２２の存在する平面とビーム光が照射された位置との距離を算出し、手領域距離算出部２２０に送信する。

手領域抽出部２１０は、画像取得部１５０から受信した画像から、手の部分を抽出する。手の領域は、照明部１１２から照明を当てて撮影した画像と照明部１１２から照明を当てずに撮影した画像との差分から、抽出され得る。手領域抽出部２１０は、抽出した手の画像を手領域距離算出部２２０に送信する。

手領域抽出部２１０は、手の内側を伸ばした状態及び手の内側をたわました状態について、それぞれ、手の領域を抽出する。

手領域距離算出部２２０は、手領域抽出部２１０が抽出した手の画像を、手領域抽出部２１０から受信する。手領域距離算出部２２０は、認証センサ部１００の画像取得部１５０から、撮像部１２２が存在する平面とビーム光が照射された位置との距離を、受信する。手領域距離算出部２２０は、撮像部１２２が存在する平面と撮影された画像上の手領域のすべての点との間の距離をそれぞれ算出する。当該距離により、手の３次元形状が分かる。

手領域距離算出部２２０は、手の内側を伸ばした状態及び手の内側をたわました状態について、撮像部１２２が存在する平面と撮影された画像上の手のすべての点との間の距離をそれぞれ算出する。

手領域平面正規化部２３０は、手領域距離算出部２２０が算出した手の距離情報を適切なモデルに当てはめ、平面に正規化する。当てはめるモデルとして、例えば、楕円放物面が使用され得る。

手領域平面正規化部２３０は、手の内側を伸ばした状態及び手の内側をたわました状態について、手の距離情報を適切なモデルに当てはめ、平面に正規化する。

暗線抽出部２４０は、手の画像から暗線を抽出する。手の画像の暗線は、手の画像の線状の暗い部分である。手の画像の暗線は、手のひらの掌紋や指の関節の皺などを含む。

暗線要素特徴抽出部２５０は、手の画像の暗線要素の特徴を抽出する。手の画像の暗線要素には、暗線の太さ及び暗線の濃さが含まれる。

表面情報判定部２６０は、暗線要素特徴抽出部２５０が抽出した手の画像の暗線要素の特徴に基づいて、抽出された暗線が手の表面情報か否かを判定する。表面情報判定部２６０は、判定基準として、生体変化情報記憶部２７０に格納された情報を使用することができる。表面情報判定部２６０は、例えば、手の画像の暗線の太さの変化及び暗線の濃さの変化を使用して、抽出された暗線が手の表面情報か否かを判定することができる。

生体変化情報記憶部２７０は、抽出された暗線が手の表面情報か否かを表面情報判定部２６０が判定する際に使用する、判定基準（ルール）となる情報を格納する。

生体表面特徴記憶部２８０は、表面情報判定部２６０による判定結果を格納する。また、生体表面特徴記憶部２８０は、手の表面情報を格納する。

（動作例）
図４は、本実施形態の生体情報取得装置の全体の動作フローを示す図である。

認証センサ部１００の画像取得部１５０は、手の画像を撮影することを照明制御部１１４、撮像制御部１２４、及び、測距制御部１３４に指示する。画像取得部１５０は、ユーザに対して、認証センサ部１００に手の内側を向けることを促す。画像取得部１５０は、ユーザに対して、複数の状態の手を、認証センサ部１００に向けることを促し得る。画像取得部１５０は、手を、測距部１３２からビーム光を照射して撮像部１２２で撮影する。また、画像取得部１５０は、手を、照明部１１２から照明を当てて撮像部１２２で撮影する。さらに、画像取得部１５０は、手を、照明部１１２及び測距部１３２が消灯した状態で、撮像部１２２で撮影する（Ｓ１０２）。

また、画像取得部１５０は、撮像部１２２の存在する平面とビーム光が照射された位置との間の距離を算出する。

手領域抽出部２１０は、照明部１１２から照明を当てて手を撮影した画像を、画像取得部１５０から受信する。また、手領域抽出部２１０は、照明部１１２及び測距部１３２が消灯した状態で手を撮影した画像を、画像取得部１５０から受信する。照明部１１２からの照明は近距離の範囲内までしか届かないため、手以外の部分（背景となる部分）には照明が当たらない。よって、手領域抽出部２１０は、取得した両画像の差分を求めることにより、手の領域を抽出することができる。

手領域距離算出部２２０は、手領域抽出部２１０が抽出した手の画像を、手領域抽出部２１０から受信する。手領域距離算出部２２０は、認証センサ部１００の画像取得部１５０から、撮像部１２２及びビーム光の光源が存在する平面とビーム光が照射された位置との距離を、受信する。手領域距離算出部２２０は、撮像部１２２及びビーム光の光源が存在する平面と手領域の各点まで距離を算出する（Ｓ１０４）。手領域距離算出部２２０は、撮像部１２２が存在する平面と手領域の各点まで距離の集合を、手の距離マップとして、手領域平面正規化部２３０に送信する。

手領域平面正規化部２３０は、手領域距離算出部２２０から受信した手の距離マップに、モデルを当てはめる。手領域平面正規化部２３０は、例えば、モデルとして楕円放物面を採用し、手の距離マップを、当てはめる（Ｓ１０６）。

手領域平面正規化部２３０は、手の距離マップを当てはめた楕円放物面を平面正規化する（Ｓ１０８）。平面正規化は、曲面を伸開して平面になるように、画像を変形させることをいう。

暗線抽出部２４０は、手領域平面正規化部２３０で平面正規化された手領域画像から暗線を抽出する（Ｓ１１０）。暗線は、手領域画像において、周囲と比較して輝度の低い線状の部分である。

暗線要素特徴抽出部２５０は、暗線抽出部２４０で抽出された暗線毎に、暗線要素特徴を抽出する。暗線要素特徴の種類として、暗線の太さ及び暗線の濃さが挙げられる。

暗線要素特徴抽出部２５０は、手領域画像の暗線の幅から、暗線の太さを抽出する（Ｓ１１２）。暗線要素特徴抽出部２５０は、手の内側を開いて撮影した場合の暗線の太さと、手の内側をたわませて撮影した場合の暗線の太さとから、暗線の太さの変化量を算出する（Ｓ１１４）。

暗線要素特徴抽出部２５０は、手領域画像の暗線の輝度から、暗線の濃さを抽出する（Ｓ１２２）。暗線要素特徴抽出部２５０は、手の内側を開いて撮影した場合の暗線の濃さと、手の内側をたわませて撮影した場合の暗線の濃さとから、暗線の濃さの変化量を算出する（Ｓ１２４）。

表面情報判定部２６０は、暗線の太さの変化量及び暗線の濃さの変化量から、暗線毎に当該暗線が表面情報か否かの判定を行う（Ｓ１３０）。表面情報判定部２６０は、暗線が表面情報か否かの判定を行う際、生体変化情報記憶部２７０に格納された情報を使用することができる。生体変化情報記憶部２７０は、暗線が表面情報か否かの判定基準となる情報を記憶する。

〈撮影〉
図５は、手の内側の撮影の動作フローの例を示す図である。手の内側の撮影は、認証センサ部１００を使用して、行われる。

画像取得部１５０は、ユーザに対して、認証センサ部１００に手の内側を向けることを促す。画像取得部１５０は、ユーザに対して、認証センサ部１００から所定の距離の範囲内になるように手の内側を認証センサ部１００に向けることを指示する。このとき、画像取得部１５０は、ユーザに対し、認証センサ部１００に向ける手の形状を指定することができる。測距制御部１３４は、測距部１３２によるビーム光の点灯を指示する。測距部１３２は、手にビーム光を照射する（Ｓ２０２）。

撮像制御部１２４は、撮像部１２２に手を撮影することを指示する。撮像部１２２は、手を撮影する（Ｓ２０４）。ここで撮影される手は、ビーム光が照射されている。

測距制御部１３４は、測距部１３２によるビーム光の消灯を指示する。測距部１３２は、ビーム光の照射を中止する（Ｓ２０６）。

照明制御部１１４は、照明部１１２による照明の点灯を指示する。照明部１１２は、手に照明を当てる（Ｓ２０８）。照明部１１２の照明の強さは、照明部１１２から近距離の範囲までしか届かないように設定される。

撮像制御部１２４は、撮像部１２２に手を撮影することを指示する。撮像部１２２は、手を撮影する（Ｓ２１０）。ここで撮影される手は、照明が当てられている。

照明制御部１１４は、照明部１１２による照明の消灯を指示する。照明部１１２は、照明を消す（Ｓ２１２）。

撮像制御部１２４は、撮像部１２２に手を撮影することを指示する。撮像部１２２は、手を撮影する（Ｓ２１４）。ここで撮影される手は、ビーム光も照明も当てられていない。

認証センサ部１００は、手を、手の状態毎に、撮影する。例えば、認証センサ部１００の画像取得部１５０は、ユーザに対し、手を開いた状態で手の内側を認証センサ部１００に向けることを指示し、図５の動作フローの撮影を行う。さらに、認証センサ部１００の画像取得部１５０は、ユーザに対し、手の内側をたわました状態で手の内側を認証センサ部１００に向けることを指示し、図５の動作フローの撮影を行う。

図５の動作フローは、速やかに実行されることが望ましい。同一の状態の手の撮影開始から撮影終了まで、手の状態（形状）が保持されることが望ましいからである。

手の撮影を行う順序は、図５の動作フローの例に限定されるものではない。例えば、照明部１１２及び測距部１３２が消灯した状態で行う撮影が、最初に行われてもよい。また、手の内側をたわました状態の撮影が、手の内側を開いた状態の撮影より前に行われてもよい。

測距部１３２として、複数の光源が用意されてもよい。測距部１３２として、複数の光源が用意された場合、光源毎に順番にビーム光を照射し、それぞれ撮像部１２２により手が撮影されてもよい。また、測距部１３２のビーム光の方向は、可変であってもよい。測距部１３２のビーム光の方向が可変である場合、ビーム光の方向毎に、撮像部１２２により手が撮影されてもよい。

図６は、認証センサ部及び手の状態例を示す図である。認証センサ部１００が手の内側を認証センサ部１００に向けることを促し、手に、測距部１３２からレーザ光若しくは照明部１１２から照明が当てられて、撮像部１２２によって手が撮影される。または、測距部１３２及び照明部１１２が消灯して、手が撮像部１２２によって、撮影される。認証センサ部１００は、手を、開いた状態若しくはたわました状態にして、認証センサ部１００に向けることを指示する。

〈手領域の抽出〉
手領域抽出部２１０は、照明を点灯して手を撮影した画像を、画像取得部１５０から受信する。また、手領域抽出部２１０は、照明を消灯して手を撮影した画像を、画像取得部１５０から受信する。

手領域抽出部２１０は、照明を点灯して手を撮影した画像と照明を消灯して手を撮影した画像とから、手領域を抽出する。手領域抽出部２１０は、照明を点灯して手を撮影した画像と照明を消灯して手を撮影した画像との差分をとることにより、手領域を抽出する。

手領域以外の領域には照明が届かない。そのため、照明を点灯して手を撮影した画像及び照明を消灯して手を撮影した画像において、手領域以外の領域は、同様に写る。従って、照明を点灯して手を撮影した画像と照明を消灯して手を撮影した画像との差分をとることにより、手領域以外の領域が除去され、手領域が抽出され得る。

手領域抽出部２１０は、照明を点灯して手を撮影した画像と照明を消灯して手を撮影した画像との差分が所定の輝度以上である領域を、手領域であると判断することが可能である。

手領域抽出部２１０は、開いた場合の手及びたわました場合の手について、手領域の抽出を行う。

〈手領域の距離算出〉
《ビーム光を使用した距離算出》
図７は、ビーム光を使用した距離算出を説明する図である。画像取得部１５０は、手にビーム光を照射して手を撮影した画像を使用して、撮像部１２２からビーム光が当たった位置を含む平面までの距離を算出する。

測距部１３２であるビーム光源は、レンズ１２２Ａの中心Ｃ（レンズの主点）を含み当該レンズの光軸ＯＡと直交する平面Ｐ１内で、レンズ１２２Ａの中心Ｃから距離ｄだけ離れた位置、かつ、レンズ１２２Ａの光軸ＯＡから距離ｄだけ離れた位置に配置される。当該ビーム光源のビーム光の方向は、光軸ＯＡ及び当該ビーム光源を含む平面内に存在する。当該ビーム光源のビーム光の方向は、撮像部１２２のレンズ１２２Ａの光軸ＯＡに対し角度θの傾きを有する。ビーム光が当たっている手の位置Ａを含み撮像部１２２のレンズの光軸と直交する平面Ｐ２と、撮像部１２２のレンズ１２２Ａの中心Ｃとの間の距離は、距離Ｌとする。ビーム光が当たっている手の位置Ａと、ビーム光が当たっている位置Ａを含み光軸ＯＡと直交する平面Ｐ２との交点Ｂとの間の距離は、距離ｘとする。撮像部１２２の撮像素子１２２Ｂの画角は、角度２αとする。撮像部１２２の撮像素子１２２Ｂの画角の半分の角度は、角度αである。撮像部１２２の撮像素子１２２Ｂの画角に納まる、平面Ｐ２上の距離の半分は、距離Ｗとする。距離Ｗは、平面Ｐ２において光軸ＯＡと画角２αに納まる最も外側の部分との間の距離である。位置Ａと光軸ＯＡとの間の距離は、距離ａとする。

図８は、測距部がビーム光を照射した際に撮像部が撮影した画像の例を示す図である。

撮像部１２２のレンズ１２２Ａの光軸ＯＡとビーム光源とを含む平面と撮像部１２２が撮影した画像の横軸とがなす角度は、角度φとする。撮像部１２２が撮影した画像の中心は、撮像部１２２のレンズ１２２Ａの光軸ＯＡの位置である。

ここで、図７に示す実世界上での相対関係と、図８に示す撮像部１２２が撮影した画像上の相対関係とは、等しい。よって、次の式が成立する。

ここで、

である。この式を、距離Ｌについて解くことにより、次の式が得られる。

この式により、ビーム光が当たっている位置Ａと平面Ｐ１との間の距離Ｌが、求められる。

画像上でのビーム光が当たった位置は、ビーム光を照射して手を撮影した画像と照明を消灯して手を撮影した画像との差分を取ることにより、抽出される。画像上でのビーム光が当たった位置が大きさを有する場合は、画像上でのビーム光が当たった範囲の中心を画像上でのビーム光が当たった位置とすることができる。

ビーム光を使用した距離算出は、画像取得部１５０によって行われ得る。画像取得部１５０は、算出した距離Ｌを、手領域距離算出部２２０に送信する。

複数の種類のビーム光が存在する場合、少なくとも、いずれか１つのビーム光を使用して、平面Ｐ１から手のビーム光が当たった位置Ａまでの距離の算出が行われればよい。

《キャリブレーション》
図９は、認証センサ部のキャリブレーションの動作フローの例を示す図である。

認証センサ部１００は、手領域の距離を算出する前に、事前処理として、キャリブレーションを行う。

認証センサ部１００から既知の距離に一様な色の物体（キャリブレート平面Ｐ３）が配置される（Ｓ３０２）。キャリブレート平面Ｐ３の拡散反射係数は、当該平面Ｐ３において一様であるとする。照明制御部１１４は、照明部１１２による照明の点灯を、照明部１１２に指示する。撮影制御部１２４は、撮像部１２２に上記の物体を撮影することを指示する。撮像部１２２は、上記の物体を撮影する（Ｓ３０４）。画像取得部１５０は、上記の既知の距離及び撮影された画像を、手領域距離算出部２２０に格納する（Ｓ３０６）。撮影された画像から画像上の各点の輝度が、算出され得る。

《手領域の距離算出》
図１０は、手領域の距離算出を説明する図である。手領域距離算出部２２０は、撮像部１２２及びビーム光の光源が存在する平面と撮影された画像上の手領域のすべての点との間の距離を算出する。

手領域は、手領域抽出部２１０により抽出されている。

撮像部１２２のレンズの中心とキャリブレート平面Ｐ３との間の距離は、距離Ｚ_Cとする。距離Ｚ_Cは、既知であるとする。キャリブレート平面Ｐ３の拡散反射係数は、ｒ_Cとする。キャリブレート平面Ｐ３の拡散反射係数は、既知であっても未知であってもよい。キャリブレート平面Ｐ３の拡散反射係数ｒ_Cが未知である場合、キャリブレーションにおいて撮影された画像を使用して、輝度は距離の２乗に反比例して減衰することに基づいて、キャリブレート平面Ｐ３の拡散反射係数ｒ_Cが算出され得る。キャリブレーションの際に撮影された画像のキャリブレート平面Ｐ３上の輝度は、Ｅ_Cとする。一般的に、輝度Ｅ_Cは、画面上の位置により異なる。

撮像部１２２のレンズの光軸に直交し当該レンズの中心を通る平面と被写体（手の内側）のある点と間の距離は、距離Ｚ_Fとする。この、被写体（手の内側）のある点の輝度は、Ｅ_Fとする。被写体（手の内側）の拡散反射係数は、ｒ_Fとする。被写体（手の内側）の拡散反射係数ｒ_Fは、手の内側において一様であるとする。

このとき、キャリブレート平面Ｐ３の拡散反射係数ｒ_Cと被写体（手の内側）の拡散反射係数ｒ_Fとの比は、次のように求められる。

ここで、距離Ｚ_C及び輝度Ｅ_Cは、既知である。距離Ｚ_Fとしてビーム光を使用して算出した被写体（手の内側）までの距離を使用すると、輝度Ｅ_Fは、照明部１１２を点灯して撮影した画像における、ビーム光を照射して撮影した画像におけるビーム光が当たった位置と同位置の、輝度である。また、ここで使用する輝度Ｅ_Cは、キャリブレーションの際に撮影された画像における、ビーム光を照射して撮影した画像におけるビーム光が当たった位置と同位置の、輝度である。

また、撮像部１２２のレンズの光軸に直交し当該レンズの中心を通る平面と被写体（手の内側）の任意の点と間の距離Ｚ_Fは、次の式で求められる。

ここで使用する輝度Ｅ_Fは、照明部１１２を点灯して手を撮影した画像における任意の点の輝度である。また、ここで使用する輝度Ｅ_Cは、キャリブレーションの際に撮影された画像における、当該任意の点と同位置の、輝度である。

以上により、撮像部１２２及びビーム光の光源が存在し撮像部１２２のレンズの光軸と直交する平面と、撮影された画像上の手領域のすべての点との間の距離が算出される。換言すると、手領域距離算出部２２０は、手領域の各点の三次元位置（距離マップ）を算出することができる。

手領域距離算出部２２０は、手領域の距離算出を、他の方法により行ってもよい。

手領域距離算出部２２０は、開いた場合の手及びたわました場合の手について、手領域の距離算出を行う。

〈手領域平面正規化〉
一人の人物の複数の形状の手を比較するため、手領域平面正規化部２３０は、手領域の平面正規化を行う。

《モデルあてはめ》
手領域平面正規化部２３０は、手領域の三次元形状をモデルにあてはめた後に平面正規化を行う。

手は、三次元的に凹凸がある。手の形状は、人によって様々である。様々な人間の手の形状を三次元的に計測し、その形状をカテゴリーに分け、それぞれのカテゴリーを代表するモデルを用意することが、望ましい。各モデルの表現は、より詳細にはボクセルの集合として表されることがよい。最も簡素に表現するモデルとして、手に対して椀状の形状を想定し、楕円放物面により表現するモデルが挙げられる。

ここでは、手領域の形状が、楕円放物面にあてはめられる。楕円放物面の式は、次のように表現される。

ここで、（Ｘ₀，Ｙ₀，Ｚ₀）は、楕円放物面の中心の座標である。また、ａ及びｂは、係数である。

手領域平面正規化部２３０は、手領域距離算出部２２０が算出した手領域の各点の三次元位置を標本点として、反復近似法により楕円放物面の方程式を求めることができる。

手領域距離算出部２２０が算出した手領域の各点の三次元位置は、集合Ｓとする。手領域平面正規化部２３０は、集合Ｓを標本点とし、手領域の重心を（Ｘ₀，Ｙ₀，Ｚ₀）及び集合Ｓの任意の２点から算出した（ａ，ｂ）を初期値として、次の式を与えるａ、ｂ、Ｘ₀、Ｙ₀、Ｚ₀の組を、反復近似法により求めることができる。

手領域平面正規化部２３０は、開いた場合の手及びたわました場合の手について、楕円放物面にあてはめた楕円放物面の方程式を求める。

《平面正規化》
図１１は、平面正規化を説明する図である。平面正規化は、曲面を伸開して平面になるように、画像を変形させることをいう。

図１１は、三次元座標のＺ軸に平行な面を表す。図１１の縦軸は、Ｚ軸方向と平行な方向を表す。図１１の横軸は、Ｘ軸方向若しくはＹ軸方向と平行な方向を表す。図１１の（ａ）は、楕円放物面の断面図である。また、図１１の（ｂ）は、Ｚ軸と直交する平面の断面図である。

手領域平面正規化部２３０は、図１１の（ａ）のような手を楕円放物面に当てはめた曲面を、図１１の（ｂ）のような平面になるように変形させる。

手を当てはめた楕円放物面上の（Ｘ，Ｙ）は、平面上の（Ｘ′，Ｙ′）に変換される。ここで、（Ｘ，Ｙ）と（Ｘ′，Ｙ′）との関係は、次のように表現される。

ただし、

である。ここで、Ｎは、計算機の性能に合わせて、有限の数に設定され得る。

手領域平面正規化部２３０は、開いた場合の手及びたわました場合の手について、平面正規化を行う。

《暗線抽出及び暗線要素特徴抽出》
暗線抽出部２４０は、手領域平面正規化部２３０で平面正規化された手領域画像から暗線を抽出する。暗線は、手領域画像において、周囲と比較して輝度の低い線状の部分である。

図１２は、平面正規化された手の画像上のある軸の暗線の部分及びその周辺の、輝度及び輝度の位置による一次微分の例を示す図である。図１２のグラフの横軸は、位置を表す。図１２のグラフの縦軸は、輝度若しくは輝度の一次微分を表す。

暗線の部分では、図１２の上のグラフのように、安定したある程度大きな値の輝度（明）から小さい値の輝度（暗）に変化する部分と小さい値の輝度から大きな値の輝度に変化する部分とが隣接する。

暗線抽出部２４０は、手領域画像を横方向若しくは縦方向に走査して隣接する画素の輝度の差分を求める。暗線抽出部２４０は、横方向にも縦方向にも明から暗に変化する所定の長さの区間での輝度の差分値の累積値が所定の値以下である箇所を探す。暗線抽出部２４０は、当該箇所の画素から正の方向に所定の値以内の距離離れた、暗から明に変化する所定の長さの区間での輝度の差分値の累積値が所定の値以上である箇所を、暗線として検出することができる。暗線抽出部２４０は、他の方法により、暗線を抽出してもよい。

暗線抽出部２４０は、開いた場合の手及びたわました場合の手について、暗線の抽出を行う。

暗線要素特徴抽出部２５０は、暗線抽出部２４０で抽出された暗線毎に、暗線要素特徴を抽出する。暗線要素特徴の種類として、暗線の太さ及び暗線の濃さが挙げられる。

暗線の位置は、隣接する明から暗に変化する区間及び暗から明に変化する区間の端点のうち、それぞれ他の区間に近い方の端点の中点の座標として表され得る。暗線の太さ（幅）は、隣接する明から暗に変化する区間の中心と暗から明に変化する区間の中心との距離で表され得る。暗線の濃さは、隣接する明から暗に変化する区間及び暗から明に変化する区間の輝度のそれぞれの区間の差分値の累積値の絶対値の平均として表され得る。暗線要素特徴抽出部２５０は、他の方法により、暗線要素特徴を抽出してもよい。

暗線要素特徴抽出部２５０は、開いた場合の手及びたわました場合の手について、暗線要素特徴を抽出する。

暗線要素特徴抽出部２５０は、暗線を検出した位置の画素に暗線の濃さの値を格納した二次元配列（画像形式）の画像を作成する。また、暗線要素特徴抽出部２５０は、暗線を検出した位置の画素に暗線の太さの値を格納した二次元配列（画像形式）の画像を作成する。暗線要素特徴抽出部２５０は、開いた場合の手及びたわました場合の手について、これらの画像を作成する。

ここで、手を開いた場合の暗線の濃さの値を格納した画像を、画像Ｉｄ１とする。手を開いた場合の暗線の太さの値を格納した画像を、画像Ｉｗ１とする。また、手をたわました場合の暗線の濃さの値を格納した画像を、画像Ｉｄ２とする。手をたわました場合の暗線の太さの値を格納した画像を、画像Ｉｗ２とする。

〈表面情報判定〉
表面情報判定部２６０は、暗線の太さの変化量及び暗線の濃さの変化量から、暗線毎に当該暗線が表面情報か否かの判定を行う。よって、表面情報判定部２６０は、手の表面情報である暗線を抽出することができる。

人間の手の内側をたわませることによって、手の内側の皺が寄る。手の内側表面の包絡面上の表面積は、手を開いた状態よりも手をたわました状態の方が小さい。表面情報判定部２６０は、位置合わせと共に、手を開いた状態と手をたわました状態とで、大きさの調整を行うことができる。

表面情報判定部２６０は、画像Ｉｄ１と画像Ｉｄ２とに対し、２枚の画像間で位置合わせ及び大きさの調整を行う。手を開いた場合の楕円放物面の近似の際の係数が（ａ１、ｂ１、Ｘ０１，Ｙ０１，Ｚ０１）であり、手をたわました場合の楕円放物面の近似の際の係数が（ａ２、ｂ２、Ｘ０２，Ｙ０２，Ｚ０２）であったとする。表面情報判定部２６０は、画像Ｉｄ２について、Ｘ軸方向及びＹ軸方向について、それぞれ、−（Ｘ０２−Ｘ０１）、−（Ｙ０２−Ｙ０１）移動する。画像Ｉｄ２を移動させたものは、画像Ｉｄ２′とする。手を開いた場合の平面正規化後の画像の手領域の面積（手領域に含まれる画素数）をＡ１とし、手をたわました場合の平面正規化後の画像の手領域の面積をＡ２とする。表面情報判定部２６０は、画像Ｉｄ２′に対して（Ｘ０１，Ｙ０１）を中心として（Ａ１／Ａ２）^1/2倍の拡縮を行う。画像Ｉｄ２′を拡縮したものは、画像Ｉｄ２″とする。

同様に、表面情報判定部２６０は、画像Ｉｗ１と画像Ｉｗ２とに対し、２枚の画像間で位置合わせ及び大きさの調整を行う。表面情報判定部２６０は、上記と同様の操作を行うことにより、画像Ｉｗ２′及び画像Ｉｗ２″を得る。

表面情報判定部２６０は、Ｉｄ１、Ｉｄ２″、Ｉｗ１、Ｉｗ２″で同じ座標（ｘ，ｙ）に出力がある画素に対し、暗線の濃さの変化Δｄ＝Ｉｄ２″（ｘ，ｙ）―Ｉｄ１（ｘ，ｙ）及び暗線の太さの変化Δｗ＝Ｉｗ２″（ｘ，ｙ）―Ｉｗ１（ｘ，ｙ）を求める。

表面情報判定部２６０は、表面変化情報記憶部２７０から、表面情報と判定される条件を読み出す。表面変化情報記憶部２７０には、例えば、暗線の濃さの変化が正であり、かつ、暗線の太さの変化が負である場合に、表面の皺と判断するとの条件が格納されている。このとき、表面情報判定部２６０は、Δｄ＞０であり、かつ、Δｗ＜０である場合、当該暗線は表面情報であると判断する。また、表面情報判定部２６０は、Δｄ＜０であり、又は、Δｗ＞０である場合、当該暗線は表面情報ではないと判断する。

図１３は、表面情報の判定基準の例を示す図である。図１３の例では、暗線の濃さの変化が濃くなる方向であり、暗線の太さの変化が細くなる方向である場合、当該暗線が表面の皺の情報（表面情報）であると判断される。

表面情報判定部２６０は、表面情報であると判定した暗線の情報を、生体表面特徴記憶部２８０に格納する。表面情報判定部２６０は、表面情報であると判定した暗線の位置の情報を、生体表面特徴記憶部２８０に格納することができる。

表面情報判定部２６０は、撮影された手の画像に表面情報であると認められる暗線が存在しない場合、撮影された手が生体ではないと判断することができる。生体であれば、手の皺に起因する手の表面情報が存在すると考えられるからである。

生体表面特徴記憶部２８０に格納された手の表面情報は、生体認証の際の個人識別情報として使用され得る。

生体表面特徴記憶部２８０は、あらかじめ、既知の人物の手の表面情報を格納しておくことができる。このとき、表面情報判定部２６０が、撮影された手の画像の表面情報と生体表面特徴記憶部２８０に格納される手の表面情報とを照合することで、個人識別を行うことができる。生体表面特徴記憶部２８０は、複数の人物の手の表面情報と当該人物の識別情報とを対応付けて格納することができる。

（応用例）
手のひらの表面情報である掌紋情報は、生体認証の一技術である掌紋認証として利用することができる。上記の生体情報取得装置を含む生体認証装置が、あらかじめユーザ毎の掌紋情報を格納しておき、ユーザの手を撮影して取得した手の表面情報（掌紋情報）とあらかじめ格納された掌紋情報とを比較することで、生体認証を行うことができる。

また、手のひらの表面情報による生体認証と同じ手のひらを対象とする生体認証である手のひら静脈認証とを組み合わせた生体認証装置とすることが可能である。このとき、本実施形態の認証センサ部１００は、静脈認証における認証センサとしても使用され得る。

図１４は、生体認証装置の例を示す図である。図１４の生体認証装置１０００は、認証センサ部１０を有する生体情報取得装置１０と、静脈認証部５００と、判定部６００を有する。また、生体認証装置１０００は、記憶部７００を有してもよい。

生体情報取得装置１０は、手のひらを撮影し、手のひらの表面情報を抽出する。生体情報取得装置１０は、抽出された手のひらの表面情報を使用して、生体認証を行う。また、生体情報取得装置１０は、手のひらの表面情報を取得できなかった場合、撮影された手のひらは非生体であると判断する。生体情報取得装置１０は、手のひらの表面情報による生体認証の結果、及び、生体か否かの判定結果のうち少なくとも１つを判定部６００に送信する。図１４の生体情報取得装置１０は、少なくとも、図１の生体情報取得装置１０と、同様の構成、機能を有する。生体情報取得装置１０は、撮影された画像から抽出された手のひらの表面情報に類似する、生体表面特徴記憶部２８０等にあらかじめ格納される１又は複数の手のひら表面情報を抽出することができる。

静脈認証部５００は、認証センサ部１０で撮影された手のひらの画像を使用して手のひら静脈情報による生体認証を行う。静脈認証部５００は、認証センサ部１０で撮影された手のひらの画像から手のひらの静脈情報を抽出することができる。静脈認証部５００は、手のひら静脈情報による生体認証結果を判定部６００に送信する。静脈認証部５００は、手のひらを開いた状態で撮影された画像を使用して静脈情報による生体認証を行うことができる。静脈認証部５００は、手のひらを開いた状態で撮影された画像から、手のひらの静脈情報を抽出することができる。

静脈認証部５００は、あらかじめ、既知の人物の手のひらの静脈情報を格納しておくことができる。静脈認証部５００は、撮影された画像から抽出した静脈情報と、格納された静脈情報とを照合して、生体認証を行うことができる。静脈認証部５００は、複数の人物の手のひらの静脈情報と当該人物の識別情報とを対応付けて格納することができる。

静脈認証部５００は、生体情報取得装置１０が抽出した１又は複数の手のひら表面情報に対応する手のひらの静脈情報と撮影された画像から抽出された手のひらの静脈情報との照合処理を行うことができる。

判定部６００は、手のひらの表面情報による生体認証の結果、手のひらの表面情報による生体か否かの判定結果、及び、手のひらの静脈情報による生体認証の結果に基づいて、認証を行うことができる。判定部６００は、手のひらの表面情報による生体認証において認証成功（認証ＯＫ）し、かつ、手のひらの静脈情報による生体認証において認証成功（認証ＯＫ）した場合に、本人であると認証することができる。

記憶部７００は、ユーザの手のひらの表面情報と静脈情報と当該ユーザの識別情報とを関連付けて格納することができる。記憶部７００は、あらかじめ、複数のユーザのこれらの情報を格納することができる。生体情報取得装置１０及び静脈認証部５００は、それぞれ、手のひらの表面情報及び静脈情報を、記憶部７００から取得してもよい。記憶部７００がユーザの手のひらの表面情報と静脈情報と当該ユーザの識別情報とを関連付けて格納した場合、生体情報取得装置１０及び静脈認証部５００は、これらの情報を格納しなくてもよい。

掌紋情報は体の表面の情報であるのに対し、手のひら静脈の情報は体内の情報である。したがって、２つの情報の間には基本的に関連がない。そのため、一個人に対する情報が増加することになり、２つの情報を両方とも利用すれば、現状の手のひら静脈認証の個人識別精度をさらに高めた個人認証を実現することができる。すなわち、掌紋情報と手のひら静脈情報の両方とも一致した人物を本人と識別すれば、個人識別精度が高まる。

また、掌紋認証は、手のひら静脈認証の時間短縮に使用することもできる。手のひら静脈認証は個人識別精度が高いが、その分、一人あたりの情報量が多く、照合時間も長い。したがって、個人識別処理のために入力された手のひら静脈情報を、登録されたすべての人と照合しようとすると、十数秒の時間がかかることがある。このため、ヒューマンインタフェースの観点からは、人間が認証結果を待つときに不快を感じる可能性がある。そこで、登録されたすべての人の中で、先に掌紋情報（手のひらの表面情報）が類似した人を複数選択し、その複数の人だけに手のひら静脈認証を適用することができる。

掌紋情報は手のひら静脈情報に比べると、情報量が多くはないので、掌紋情報を単独で生体認証に用いたのでは個人識別精度は劣る。しかし、掌紋認証は、情報量が少ないため、照合にかかる時間が少なくすることができる。したがって、掌紋情報及び手のひら静脈情報による生体認証の照合時間は、手のひら静脈認証単独の照合時間より短い時間で実現できる。さらに、掌紋情報及び手のひら静脈情報による生体認証は、手のひら静脈認証に匹敵する個人識別処理を実現できる。

（実施形態の作用効果）
本実施形態によると、手のひらを、開いた状態及びたわました状態で撮影することで、手のひらの表面情報を抽出することができる。本実施形態によれば、抽出された手のひらの表面情報を使用して、生体認証を行うことができる。

また、本実施形態によると、同一の認証センサで撮影された画像を使用して、掌紋認証及び静脈認証をおこなうことができる。本実施形態によれば、互いに関連のない、手のひら表面情報と手のひら静脈情報とを使用して、生体認証を行うことで、より精度の高い個人識別処理を実現できる。

Claims (8)

1. ユーザの手の内側を手の内側が伸ばされた第１の状態で撮影した第１画像と、前記ユーザの手の内側を手の内側がたわんだ状態で撮影した第２画像とを取得する撮影部と、
   前記第１画像及び前記第２画像のそれぞれから、暗線を抽出する暗線抽出部と、
   前記第１画像における前記暗線の要素の特徴、並びに、前記第２画像における前記暗線の要素の特徴を抽出する暗線要素特徴抽出部と、
   前記第１画像及び第２画像における暗線の要素の特徴の推移に基づいて、手の屈伸に基づく皺に起因する暗線を抽出する表面情報判定部と、
   を備える生体情報取得装置。
2. 前記暗線要素特徴抽出部は、前記第１画像における前記暗線の濃さ及び太さ、並びに、前記第２画像における前記暗線の濃さ及び太さを抽出し、
   前記表面情報判定部は、前記第１画像及び前記第２画像の同位置の暗線における、前記第２画像の暗線の濃さが前記第１画像の暗線の濃さよりも濃く、前記第２画像の暗線の太さが前記第１画像の暗線の太さより細い場合、当該暗線は手の皺に起因する暗線であると判定する、
   請求項１に記載の生体情報取得装置。
3. 前記表面情報判定部は、前記第１画像及び前記第２画像から抽出した暗線に手の屈伸に基づく皺に起因する暗線が含まれる場合、前記第１画像及び前記第２画像は生体が撮影されることにより得られたものであると判定する、
   請求項２に記載の生体情報取得装置。
4. ユーザの手の内側を手の内側が伸ばされた第１の状態で撮影した第１画像と、前記ユーザの手の内側を手の内側がたわんだ状態で撮影した第２画像とを取得する撮影部と、
   前記第１画像及び前記第２画像のそれぞれから、暗線を抽出する暗線抽出部と、
   前記第１画像における前記暗線の要素の特徴、並びに、前記第２画像における前記暗線の要素の特徴を抽出する暗線要素特徴抽出部と、
   前記第１画像及び第２画像における暗線の要素の特徴の推移に基づいて、手の屈伸に基づく皺に起因する暗線を抽出し、抽出された前記手の皺に起因する暗線と前記ユーザに対応するあらかじめ用意された手の皺に起因する暗線との照合処理を行う表面情報判定部と、
   を備える生体認証装置。
5. 前記暗線要素特徴抽出部は、前記第１画像における前記暗線の濃さ及び太さ、並びに、前記第２画像における前記暗線の濃さ及び太さを抽出し、
   前記表面情報判定部は、前記第１画像及び前記第２画像の同位置の暗線における、前記第２画像の暗線の濃さが前記第１画像の暗線の濃さよりも濃く、前記第２画像の暗線の太さが前記第１画像の暗線の太さより細い場合、当該暗線は手の皺に起因する暗線であると判定する、
   請求項４に記載の生体認証装置。
6. 前記第１画像から手の静脈情報を抽出し、前記静脈情報と前記ユーザに対応するあらかじめ用意された手の静脈情報との照合処理を行う静脈情報判定部と、
   前記表面情報判定部の照合結果が正常を示し、かつ、前記静脈情報判定部の照合結果が正常を示す場合に、前記ユーザを認証し、そうでなければ前記ユーザを認証しない判定部と、を備える請求項４または５に記載の生体認証装置。
7. 複数のユーザの、識別情報と、手の屈伸に基づく皺に起因する暗線による表面情報と、手の静脈情報とを対応付けて格納する記憶部と、
   ユーザの手の内側を手の内側が伸ばされた第１の状態で撮影した第１画像と、前記ユーザの手の内側を手の内側がたわんだ状態で撮影した第２画像とを取得する撮影部と、
   前記第１画像及び前記第２画像のそれぞれから、暗線を抽出する暗線抽出部と、
   前記第１画像における前記暗線の要素の特徴、並びに、前記第２画像における前記暗線の要素の特徴を抽出する暗線要素特徴抽出部と、
   前記第１画像及び第２画像における暗線の要素の特徴の推移に基づいて、手の皺に起因する暗線を抽出し、抽出された前記手の皺に起因する暗線と前記記憶部に格納された手の皺に起因する暗線との照合処理を行い、抽出された前記手の皺に起因する暗線と類似する１又は複数の前記記憶部に格納された手の皺に起因する暗線の表面情報を抽出する表面情報判定部と、
   前記第１画像から手の静脈情報を抽出し、前記静脈情報と前記表面情報判定部が前記記憶部から抽出した１又は複数の手の皺に起因する暗線の表面情報に対応する手の静脈情報との照合処理を行う静脈情報判定部と、
   前記静脈情報判定部の照合結果が正常を示す場合に、前記ユーザを認証し、そうでなければ前記ユーザを認証しない判定部と、
   を備える生体認証装置。
8. 前記暗線要素特徴抽出部は、前記第１画像における前記暗線の濃さ及び太さ、並びに、前記第２画像における前記暗線の濃さ及び太さを抽出し、
   前記表面情報判定部は、前記第１画像及び前記第２画像の同位置の暗線における、前記第２画像の暗線の濃さが前記第１画像の暗線の濃さよりも濃く、前記第２画像の暗線の太さが前記第１画像の暗線の太さより細い場合、当該暗線は手の皺に起因する暗線であると判定する、
   請求項７に記載の生体認証装置。

Images