JP7598546B2 - 情報処理システム、情報処理方法、生体照合システム、生体照合方法及び記憶媒体 - Google Patents

Description

この開示は、情報処理システム、情報処理方法、生体照合システム、生体照合方法及び記憶媒体に関する。

データから特徴を抽出するための種々の手法が検討されている。特許文献１には、指紋画像の隆線の方向を抽出する技術が開示されている。特許文献２には、機械学習を用いて入力データから特徴を抽出する技術が開示されている。

国際公開第２０１３／０２７５７２号 特開２０２０－０５２８８６号公報

特許文献１及び特許文献２に記載されている特徴抽出のような生体照合に関連する要素技術において、更なる改善が求められている。

この開示は、より好適な生体照合を実現し得る情報処理システム、情報処理方法、生体照合システム、生体照合方法及び記憶媒体を提供することを目的とする。

この開示の一観点によれば、方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得する画像情報取得手段と、前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力する出力手段と、を有する情報処理システムが提供される。

この開示の他の一観点によれば、方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得するステップと、前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力するステップと、を有する情報処理方法が提供される。

この開示の他の一観点によれば、コンピュータに、方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得するステップと、前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力するステップと、を有する情報処理方法を実行させる情報処理プログラムを記憶した記憶媒体が提供される。

この開示の他の一観点によれば、第１対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第１特徴量群を取得する第１特徴量群取得手段と、第２対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第２特徴量群を取得する第２特徴量群取得手段と、前記複数の身体部位の各々について、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とを照合して第１スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第１スコアを合算して得られた第２スコアを出力する照合手段と、を有し、前記照合手段は、前記第１特徴量群及び前記第２特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値を設定する生体照合システムが提供される。

この開示の他の一観点によれば、第１対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第１特徴量群を取得するステップと、第２対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第２特徴量群を取得するステップと、前記複数の身体部位の各々について、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とを照合して第１スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第１スコアを合算して得られた第２スコアを出力するステップと、を有し、前記第１特徴量群及び前記第２特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される生体照合方法が提供される。

この開示の他の一観点によれば、コンピュータに、第１対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第１特徴量群を取得するステップと、第２対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第２特徴量群を取得するステップと、前記複数の身体部位の各々について、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とを照合して第１スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第１スコアを合算して得られた第２スコアを出力するステップと、を有し、前記第１特徴量群及び前記第２特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される生体照合方法を実行させる生体照合プログラムを記憶した記憶媒体が提供される。

第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 第１実施形態に係る情報処理装置の機能ブロック図である。 第１実施形態に係る情報処理装置において行われる特徴量出力処理の概略を示すフローチャートである。 指紋画像の例を示す模式図である。 画像情報ベクトルの第１成分を平面にマッピングした例を示す模式図である。 画像情報ベクトルの第２成分を平面にマッピングした例を示す模式図である。 第２実施形態に係るニューラルネットワークの模式図である。 第３実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 第３実施形態に係る生体照合装置の機能ブロック図である。 第３実施形態に係る生体照合装置において行われる照合処理の概略を示すフローチャートである。 第３実施形態に係る第１特徴量群及び第２特徴量群を説明する表である。 第５実施形態に係る情報処理装置の機能ブロック図である。 第６実施形態に係る情報処理装置の機能ブロック図である。

以下、図面を参照して、この開示の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
第１実施形態の情報処理装置は、生体画像から特徴抽出を行って特徴量を出力する装置である。ここで、生体画像は、人物の指、人物の手のひら、人物の虹彩等の画像であり得る。また、生体画像は、指の指紋、手のひらの掌紋、指又は手のひらの内側の血管、虹彩の紋様等の紋様を含み得る。生体画像は、人物の指、人物の手のひら、虹彩等をカメラ、スキャナ等により撮影して取得されたものであってもよく、物体に遺留した紋様をカメラ、スキャナ等により撮影して取得されたものであってもよい。情報処理装置により抽出された特徴量は、指紋照合、掌紋照合、血管照合、虹彩照合等の生体照合に用いられ得る。情報処理装置による特徴抽出の処理は、人物を登録する際における登録者の特徴量の抽出と、照合の際における照合対象者の特徴量の抽出のいずれにも用いられ得る。

図１は、情報処理装置１のハードウェア構成例を示すブロック図である。情報処理装置１は、例えば、ＰＣ（Personal Computer）、処理サーバ、スマートフォン、マイクロコンピュータ等のコンピュータであり得る。情報処理装置１は、プロセッサ１０１、メモリ１０２、通信Ｉ／Ｆ（Interface）１０３、入力装置１０４及び出力装置１０５を備える。なお、情報処理装置１の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。

プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＴＰＵ（Tensor Processing Unit）等の演算処理回路を１つ又は複数備える処理装置である。プロセッサ１０１は、メモリ１０２等に記憶されたプログラムに従って所定の演算を行うとともに、情報処理装置１の各部を制御する機能をも有する。

メモリ１０２は、プロセッサ１０１の動作に必要な一時的なメモリ領域を提供する揮発性記憶媒体と、処理対象のデータ、情報処理装置１の動作プログラム等の情報を非一時的に記憶する不揮発性記憶媒体とを含み得る。揮発性記憶媒体の例としては、ＲＡＭ（Random Access Memory）が挙げられる。不揮発性記憶媒体の例としては、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が挙げられる。

通信Ｉ／Ｆ１０３は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に基づく通信インターフェースである。通信Ｉ／Ｆ１０３は、データサーバ、撮像装置等の他の装置との通信を行うためのモジュールである。

入力装置１０４は、キーボード、ポインティングデバイス、ボタン等であって、ユーザが情報処理装置１を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。入力装置１０４は、カメラ、スキャナ等の撮像装置を含んでいてもよい。これらの撮像装置は、生体画像の取得に用いられ得る。

出力装置１０５は、例えば、表示装置、スピーカ等のユーザに情報を提示する装置である。入力装置１０４及び出力装置１０５は、タッチパネルとして一体に形成されていてもよい。

図１においては、情報処理装置１は、１つの装置により構成されているが、情報処理装置１の構成はこれに限定されるものではない。例えば、情報処理装置１は、１又は複数の装置によって構成される情報処理システムであってもよい。また、情報処理装置１にこれら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、第１実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、第１実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、メモリ１０２が、他の措置に設けられた記憶装置であるクラウドストレージを含んでいてもよい。このように情報処理装置１のハードウェア構成は適宜変更可能である。

図２は、第１実施形態に係る情報処理装置１の機能ブロック図である。情報処理装置１は、画像情報取得部１１１及び特徴量出力部１１２を備える。

プロセッサ１０１は、メモリ１０２に記憶されたプログラムを実行することで、所定の演算処理を行う。また、プロセッサ１０１は、当該プログラムに基づいて、メモリ１０２、通信Ｉ／Ｆ１０３、入力装置１０４及び出力装置１０５の各部を制御する。これらにより、プロセッサ１０１は、画像情報取得部１１１及び特徴量出力部１１２の機能を実現する。画像情報取得部１１１及び特徴量出力部１１２は、それぞれ、より一般的に画像情報取得手段及び出力手段と呼ばれることもある。

図３は、第１実施形態に係る情報処理装置１において行われる特徴量出力処理の概略を示すフローチャートである。第１実施形態の特徴量出力処理は、例えば、ユーザ操作等により、情報処理装置１に特徴量出力処理の指令が行われた時点で開始される。しかしながら、第１実施形態の特徴量出力処理が行われるタイミングは、特に限定されるものではなく、情報処理装置１が生体画像を取得した時点であってもよく、生体照合の実行の指令がなされた時点であってもよい。なお、特徴量出力部１１２が機械学習モデルを含んでいる場合には、図３の処理は学習用データを用いた機械学習モデルの学習の場面において行われるものであってもよく、学習済みの機械学習モデルを用いた特徴量算出の場面で行われるものであってもよい。

ステップＳ１１において、画像情報取得部１１１は、生体画像から方向情報と品質情報を抽出して取得する。方向情報と品質情報は、生体画像を構成する複数のピクセルの輝度値データに対して画像処理を行うことにより、ピクセルごと又は複数のピクセルを含む所定領域ごとに取得することができる。

方向情報は、生体画像に含まれる紋様の特徴的な方向を示す情報である。例えば、生体画像が指紋画像である場合には、方向情報は、指紋の隆線が流れる方向（隆線の接線方向）を示すベクトルであり得る。例えば、生体画像が虹彩画像である場合には、方向情報は、虹彩の輝度値の勾配の方向を示すベクトルであり得る。

品質情報は、上述の方向情報の抽出における品質の良否を示す情報である。例えば、生体画像にかすれ等が存在することにより紋様が不鮮明である場合、低品質であると判断される。また、指紋画像における背景部分（例えば、指が写っている部分の外側）のように、紋様の抽出ができない部分についても低品質であると判断される。

生体画像が指紋画像である場合における品質情報の抽出方法の一例を説明する。品質情報の抽出用の複数種類のテンプレート画像をあらかじめ準備しておく。複数種類のテンプレート画像の各々は、方向又はピッチが互いに異なる縞模様を含んでいる。次に、指紋画像のうちの品質情報を抽出する領域を部分画像として選択する。この部分画像を複数種類のテンプレート画像の線形和によって再現するようにフィッティングを行い、フィッティングの回帰係数を最適化する。このようにして得られた回帰係数がゼロ以外であるテンプレート画像の個数に基づく評価値が部分画像の領域における品質情報として用いられ得る。部分画像内の隆線の方向及び太さが一様であるような場合、隆線は単純な紋様であるため少数のテンプレート画像によりフィッティングすることができる。このような場合、その領域には高い評価値が与えられ、方向情報の抽出に適した高品質な領域であると判定される。一方、部分画像内の隆線の方向及び太さが複雑である場合又は紋様が存在しない場合、フィッティングに多数のテンプレート画像を要する。このような場合、その領域には低い評価値が与えられ、方向情報の抽出に適さない低品質な領域であると判定される。なお、品質情報の抽出方法はこれに限られるものではなく、例えば、方向情報に沿う方向の輝度変動の累積値を品質の基準とするものであってもよい。

ステップＳ１２において、画像情報取得部１１１は、方向情報に対応付けられた方向と品質情報に対応付けられた長さとを有する画像情報ベクトルＶｉを生成する。この画像情報ベクトルＶｉは、ピクセルごと又は複数のピクセルを含む所定領域ごとに生成される。ｑを品質情報に相当するスカラー量の評価値とし、θを方向情報に相当する隆線の方向を示す角度とすると、画像情報ベクトルＶｉは以下の式（１）で与えられる。
Ｖｉ＝（ｑ・ｃｏｓθ，ｑ・ｓｉｎθ） （１）

式（１）から理解されるように、画像情報ベクトルＶｉの長さを｜Ｖｉ｜とすると、｜Ｖｉ｜＝ｑである。したがって、画像情報ベクトルＶｉは、方向情報を示す方向ベクトルにスカラー倍の演算を行うことで長さがｑになるように調整したものである。例えば、方向ベクトルが単位ベクトルである場合には、方向ベクトルをｑ倍することにより、画像情報ベクトルＶｉを算出することができる。なお、ｑは、０以上かつ１以下であることが望ましい。この場合、画像情報ベクトルＶｉの各要素の範囲を－１以上かつ１以下に制限することができ、データを扱いやすくすることができる。

ステップＳ１２における画像情報ベクトルＶｉの生成について、具体的な算出例を挙げつつ、より詳細に説明する。図４は、指紋画像の例を示す模式図である。図５は、画像情報ベクトルＶｉの第１成分を平面にマッピングした例を示す模式図である。図６は、画像情報ベクトルＶｉの第２成分を平面にマッピングした例を示す模式図である。

図４において、中央付近の縞模様は指紋の隆線を示している。指紋の外側の灰色の領域は、指紋が含まれない領域を示している。図４に示されているように、指紋画像等の生体画像には、不鮮明な箇所及び外周領域が含まれる場合がある。

図５は、画像情報ベクトルＶｉの第１成分、すなわち、式（１）におけるｑ・ｃｏｓθを指紋画像に対応するように平面にマッピングしたものを示している。図５における各箇所の濃淡はｑ・ｃｏｓθの値を示している。より具体的には、図５において、黒色部分は－ｑに相当し、グレー部分はゼロに相当し、白色部分は＋ｑに相当する。図４と図５を対比することで理解されるように、図５の白色部分又は黒色部分は、図４において隆線に横方向成分があり、かつ隆線が鮮明に現れている箇所を示している。また、外周のグレー部分は、指紋が含まれない領域である。そのため、外周においては、ｑの値はゼロに近い値である。

図６は、画像情報ベクトルＶｉの第２成分、すなわち、式（１）におけるｑ・ｓｉｎθを指紋画像に対応するように平面にマッピングしたものを示している。図６における各箇所の濃淡はｑ・ｓｉｎθの値を示している。より具体的には、図６において、黒色部分は－ｑに相当し、グレー部分はゼロに相当し、白色部分は＋ｑに相当する。図４と図６を対比することで理解されるように、図６の白色部分又は黒色部分は、図４において隆線に縦方向成分があり、かつ隆線が鮮明に現れている箇所を示している。また、外周のグレー部分は、指紋が含まれない領域である。そのため、外周においては、ｑの値はゼロに近い値である。

以上のように、画像情報ベクトルＶｉは、生体画像の紋様の方向を示す情報に品質を示す情報が重畳された形で画像情報を保持している。

ステップＳ１３において、特徴量出力部１１２は、画像情報ベクトルＶｉを入力データとして演算を行い、特徴量を出力する。なお、特徴量は、典型的にはベクトル量であり得る。図３の処理が学習用データを用いた機械学習モデルの学習処理である場合には、出力された特徴量は、機械学習モデルの最適化用データとして用いられ得る。図３の処理が学習済みの機械学習モデルを用いた特徴量算出の場面である場合には、出力された特徴量は、生体照合における照合用の入力データとして用いられ得る。

以上のように、画像情報取得部１１１は、特徴量を出力する特徴量出力部１１２での処理の前処理として、生体画像から画像情報ベクトルＶｉを生成する処理を行う。画像情報ベクトルＶｉは、方向情報に対応付けられた方向を示す角度θと品質情報に対応付けられた長さｑとを有している。この処理を行うことによる効果について説明する。

図４に示されている指紋の外周部分のように、生体画像の中に特徴抽出に適さない領域が含まれている場合がある。特徴量の生成用の入力データに品質情報を含ませることで、そのような特徴抽出に適さない領域の影響が考慮された特徴量を生成することができる。しかしながら、品質を示す値そのものは、生体画像における生体の特徴を示すものではないため、特徴量を生成するアルゴリズムによっては、品質情報を入力データに組み込むことが難しい場合がある。

これに対し、第１実施形態では、画像情報ベクトルＶｉの角度θに方向情報を対応付け、長さｑに品質情報を対応付けている。生体の特徴を示す角度θには影響を与えずに品質情報を組み込むことができる。また、品質情報に含まれる品質の評価値が低い場合に画像情報ベクトルＶｉの長さが小さくなることから、特徴抽出において特徴抽出に適さない領域の寄与度が自動的に小さくなる。例えば、生体画像の外周部分では、品質の評価値が０に近く画像情報ベクトルＶｉがほぼゼロベクトルであるため、特徴抽出への寄与度は小さい。このように、画像情報ベクトルＶｉを特徴量出力部１１２に入力することにより、品質を考慮した特徴量の生成が行われ得る。したがって、第１実施形態によれば、従来より高精度な生体照合を実現し得る情報処理装置１が提供される。

［第２実施形態］
以下、第２実施形態について説明する。第２実施形態では、第１実施形態の情報処理装置１をより具体化した例として、特徴量出力部１１２の機械学習モデルとしてニューラルネットワークを用いる例を示す。第１実施形態と同様の要素については説明を省略又は簡略化する場合がある。

図７は、第２実施形態に係るニューラルネットワークの模式図である。第２実施形態において、特徴量出力部１１２は、ニューラルネットワークを有している。ニューラルネットワークは、入力層、中間層及び出力層を含む複数の層をなすように相互に接続された複数のノードＮを有している。

入力層には、画像情報取得部１１１により取得された画像情報ベクトルＶｉが入力される。ある層の各ノードＮは、１つ前の層の複数のノードＮから入力される入力値と重み付け係数とバイアス値とを含む活性化関数による演算を行い、演算結果を次の層のノードＮに出力する。出力層のノードＮは、前の層のノードＮからの入力に基づくデータを特徴量として出力する。

なお、上述のニューラルネットワークの例では、特徴量出力部１１２に含まれ得る機械学習モデルとは、ニューラルネットワークの構造、活性化関数に含まれる重み付け係数及びバイアス値に相当する。また、学習とは、学習用データを用いて重み付け係数とバイアス値を適切に決定することに相当する。また、学習済みの機械学習モデルとは、重み付け係数とバイアス値が既に適切に決定されている機械学習モデルである。入力される画像情報ベクトルＶｉから特徴を適切に抽出できるように学習を行うことにより、ニューラルネットワークは、画像情報ベクトルＶｉから特徴量を生成することができる。

ニューラルネットワークの入力層は、特徴抽出の対象データが入力されるよう構成されているため、特徴抽出の対象とは別のデータを更に入力することは難しい。したがって、生体の特徴を示す方向情報とは別個に品質情報を入力することは難しい。これに対し、第１実施形態で述べたように、画像情報ベクトルＶｉには品質情報が組み込まれているため、画像情報ベクトルＶｉを入力データとして用いることで、ニューラルネットワークの入力層に品質情報を含むデータをそのまま入力可能である。このように、第２実施形態のように機械学習モデルとしてニューラルネットワークを用いた特徴抽出において、第１実施形態の画像情報ベクトルＶｉが好適に適用され得る。したがって、第２実施形態によれば、より好適な生体照合を実現し得る情報処理装置１が提供される。

なお、図７に示されているニューラルネットワークの模式図は図示の都合上簡略化されたものであり、実際の層数、ノード数等は図示されているものよりもはるかに大規模なものであり得る。また、図７に示されているニューラルネットワークの例ではある層の１つのノードＮに対して前の層の一部のノードＮが接続されていない箇所があるが、ある層の各ノードＮに対して前の層のすべてのノードＮが接続されていてもよい。そのような層は全結合層と呼ばれることもある。

また、特徴量出力部１１２は、ニューラルネットワークの一種である畳み込みニューラルネットワークを有していてもよい。畳み込みニューラルネットワークは、画像処理に有効であることが知られており、生体画像の処理に好適である。

［第３実施形態］
以下、第３実施形態について説明する。第３実施形態の生体照合装置は、複数の特徴量を含む特徴量群同士を照合することにより、生体照合を行う装置である。複数の特徴量の各々は、第１実施形態又は第２実施形態の情報処理装置１を用いて生体情報から抽出されたものであってもよく、それら以外の特徴量抽出手段により生体情報から抽出されたものであってもよい。第１実施形態又は第２実施形態と同様の要素については説明を省略又は簡略化する場合がある。

図８は、生体照合装置２のハードウェア構成例を示すブロック図である。生体照合装置２は、例えば、ＰＣ（Personal Computer）、処理サーバ、スマートフォン、マイクロコンピュータ等のコンピュータであり得る。情報処理装置１は、プロセッサ１０１、メモリ１０２、通信Ｉ／Ｆ（Interface）１０３、入力装置１０４及び出力装置１０５を備える。これらの各装置の構成は第１実施形態における情報処理装置１の構成と同様であるため説明を省略する。なお、生体照合装置２の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。

図８においては、生体照合装置２は、１つの装置により構成されているが、生体照合装置２の構成はこれに限定されるものではない。例えば、生体照合装置２は、１又は複数の装置によって構成される生体照合システムであってもよい。また、生体照合装置２にこれら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、生体照合装置２の一部の機能がネットワークを介して他の装置により提供されてもよく、第３実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、メモリ１０２が、他の措置に設けられた記憶装置であるクラウドストレージを含んでいてもよい。このように生体照合装置２のハードウェア構成は適宜変更可能である。

生体照合装置２は、第１実施形態又は第２実施形態の情報処理装置１と共通化された単一のハードウェアにより構成されていてもよい。また、生体照合装置２は、第１実施形態又は第２実施形態の情報処理装置１と通信可能に接続され、一体化されたシステムを構成していてもよい。これらの構成において、第１実施形態又は第２実施形態の情報処理装置１から出力された特徴量は、生体照合装置２に入力され得る。

図９は、第３実施形態に係る生体照合装置２の機能ブロック図である。生体照合装置２は、第１特徴量群取得部１２１、第２特徴量群取得部１２２及び照合部１２３を備える。

プロセッサ１０１は、メモリ１０２に記憶されたプログラムを実行することで、所定の演算処理を行う。また、プロセッサ１０１は、当該プログラムに基づいて、メモリ１０２、通信Ｉ／Ｆ１０３、入力装置１０４及び出力装置１０５の各部を制御する。これらにより、プロセッサ１０１は、第１特徴量群取得部１２１、第２特徴量群取得部１２２及び照合部１２３の機能を実現する。第１特徴量群取得部１２１、第２特徴量群取得部１２２及び照合部１２３は、それぞれ、より一般的に第１特徴量群取得手段、第２特徴量群取得手段及び照合手段と呼ばれることもある。

図１０は、第３実施形態に係る生体照合装置２において行われる照合処理の概略を示すフローチャートである。第３実施形態の照合処理は、例えば、ユーザ操作等により、生体照合装置２に照合処理の指令が行われた時点で開始される。しかしながら、第３実施形態の照合処理が行われるタイミングは、特に限定されるものではなく、生体照合装置２に特徴量が入力された時点であってもよい。

なお、図１０のフローチャートでは、生体照合装置２は、第１対象者と第２対象者が同一人物であるか否かの判定に用いられるスコア（後述の第２スコア）を算出する装置であるものとする。第１対象者と第２対象者がどのような属性の人物であるかは特に限定されるものではないが、例えば、第１対象者と第２対象者はそれぞれ照合対象者と事前登録者であり得る。例えば、生体照合装置２が扉の通行許可の判定に用いられる場合には、第１対象者は扉の通行者であり、第２対象者は扉の通行権限を有する人物としてあらかじめ登録されている登録者であり得る。また、生体照合に用いられる特徴量は、あらかじめ生体画像等から抽出済みのものがメモリ１０２等の記憶媒体に記憶されているものとするが、図１０のフローチャートの処理の前に一連の処理として生体画像及び特徴量の抽出が併せて行われてもよい。

ステップＳ２１において、第１特徴量群取得部１２１は、複数の特徴量を含む第１特徴量群を取得する。そして、ステップＳ２２において、第２特徴量群取得部１２２は、複数の特徴量を含む第２特徴量群を取得する。複数の特徴量は、上述のように生体画像等から抽出済みのものがあらかじめ記憶媒体に記憶されていてもよい。その場合、第１特徴量群取得部１２１及び第２特徴量群取得部１２２は、記憶媒体から複数の特徴量を読み出すことにより第１特徴量群及び第２特徴量群を取得する。この複数の特徴量は、第１対象者又は第２対象者の複数の身体部位からそれぞれ抽出されたものである。複数の身体部位とは例えば、複数の指、両手、両目の虹彩等であり得る。複数の指、両手、両目の虹彩等の画像から指紋、掌紋、虹彩の紋様等の特徴を抽出することにより、複数の身体部位にそれぞれ対応する複数の特徴量が生成される。複数の指とは、例えば両手の十指であり得るが、両手の親指等であってもよい。

図１１は、第３実施形態に係る第１特徴量群及び第２特徴量群を説明する表である。図１１には、第１特徴量群及び第２特徴量群が両手の十指から取得された特徴量を含む場合のデータの構成を示している。図１１に示されているように、第１特徴量群は、複数の特徴量Ｆ１［１］、Ｆ１［２］、…、Ｆ１［１０］を含む。例えば、特徴量Ｆ１［１］は、第１対象者の右手の親指の画像から抽出された特徴量である。第２特徴量群は、複数の特徴量Ｆ２［１］、Ｆ２［２］、…、Ｆ２［１０］を含む。例えば、特徴量Ｆ２［１］は、第２対象者の右手の親指の画像から抽出された特徴量である。このように、複数の身体部位の各々に対応する第１対象者及び第２対象者の特徴量が取得される。第１特徴量群及び第２特徴量群は特徴量が取得された身体部位と対応付けられているので、同じ身体部位の特徴量同士を照合可能である。

ステップＳ２３において、照合部１２３は、第１特徴量群及び第２特徴量群の少なくとも一方に欠落している特徴量があるか否かを判定する。第１特徴量群及び第２特徴量群の少なくとも一方に欠落している特徴量がある場合（ステップＳ２３のＹＥＳ）、処理はステップＳ２４に移行する。第１特徴量群及び第２特徴量群のいずれにも欠落している特徴量がない場合（ステップＳ２３のＮＯ）、処理はステップＳ２５に移行する。ここで、特徴量の欠落の具体例としては、十指のうちのいくつかの指の画像が取得されておらず特徴量が抽出できない場合、いくつかの指の画像が不鮮明で十分な精度の特徴量が取得できない場合等が挙げられる。

ステップＳ２４において、照合部１２３は、欠落している特徴量に所定値を設定する。その後、処理はステップＳ２５に移行する。

ステップＳ２５において、照合部１２３は、身体部位ごとに第１特徴量群と第２特徴量群の対応する特徴量を照合する。そして、照合部１２３は、身体部位ごとに第１スコアを生成する。

ステップＳ２６において、照合部１２３は、身体部位ごとの第１スコアを合算して第２スコアを生成する。そして、照合部１２３は第２スコアを出力する。第２スコアは、例えば、第１対象者と第２対象者が同一人物であるか否かの判定に用いられる。例えば、第２スコアが所定の閾値以上である場合に第１対象者と第２対象者が同一人物であると判定されてもよく、第２スコアが所定の閾値未満である場合に第１対象者と第２対象者が別の人物であると判定されてもよい。このような第２スコアに基づく判定処理は、生体照合装置２内で行われてもよく、別の判定装置で行われてもよい。

以上のように、第３実施形態では、複数の特徴量を含む特徴量群同士を照合する照合手法において、欠落している特徴量がある場合にも照合を行うことができる。また、欠落している特徴量がある場合にも第１スコア及び第２スコアの生成のための照合アルゴリズムを切り変える必要がなく、同じアルゴリズムをそのまま援用できるため、照合アルゴリズムの切り替えの条件分岐を不要にすることができ、処理が簡略化される。したがって、第３実施形態によれば、より好適な生体照合を実現し得る生体照合装置２が提供される。

ステップＳ２４において設定される所定値は任意であるが、所定値は、第１スコアが照合対象の特徴量が無相関であることを示すような値に設定されることが望ましい。このように設定することで、所定値に基づいて算出された第１スコアがステップＳ２６における合算処理において第２スコアの値に影響を与えないようにすることができる。

［第４実施形態］
以下、第４実施形態について説明する。第４実施形態の生体照合装置は、第３実施形態の照合部１２３において行われる演算処理をより具体化した例である。第１実施形態乃至第３実施形態と同様の要素については説明を省略又は簡略化する場合がある。

図１０のステップＳ２４、Ｓ２５、Ｓ２６の処理以外については第３実施形態と同様であるため説明を省略する。ステップＳ２５、Ｓ２６の処理において、第４実施形態の照合部１２３は、コサイン類似度に基づいて第１スコア及び第２スコアを算出する。

第１特徴量群に含まれる複数の特徴量をＦ１［１］、Ｆ１［２］、…、Ｆ１［ｎ］とし、第２特徴量群に含まれる複数の特徴量をＦ２［１］、Ｆ２［２］、…、Ｆ２［ｎ］とする。また、Ｆ１［１］、Ｆ１［２］、…、Ｆ１［ｎ］、Ｆ２［１］、Ｆ２［２］、…、Ｆ２［ｎ］の各々はベクトル量であるものとする。ここで、ｎは特徴量が抽出される複数の身体部位の個数である。例えば、複数の身体部位が十指である場合にはｎは１０である。複数の身体部位が両目の虹彩である場合にはｎは２である。

コサイン類似度ｃｏｓ（ａ，ｂ）は、以下の式（２）で表される。ただし、ａ・ｂは、ベクトルａとベクトルｂの内積であり、｜ａ｜は、ベクトルａの長さである。
ｃｏｓ（ａ，ｂ）＝（ａ・ｂ）／（｜ａ｜｜ｂ｜） （２）

各ベクトルの長さが１に正規化されている場合（すなわち単位ベクトルである場合）には、式（２）は以下の式（３）のように簡略化される。この場合、コサイン類似度ｃｏｓ（ａ，ｂ）は内積ａ・ｂと同視することができる。この演算は積和演算であり、コンピュータを用いて高速に計算を行うことができる。
ｃｏｓ（ａ，ｂ）＝ａ・ｂ （３）

上述の式（３）のように、コサイン類似度はベクトル同士のなす角度の近さを表現するものである。２つの特徴量のコサイン類似度が１に近いほど両者は類似しているといえ、コサイン類似度が０である場合には両者は無相関であるといえる。また、コサイン類似度は－１から１までの値であるため、第４実施形態のように複数の身体部位についてスコアを算出する場合においては、各身体部位のコサイン類似度を合算することで、複数の身体部位の照合結果を容易に統合することができる。

第４実施形態では、ステップＳ２５において算出される第１スコアは、第１特徴量群に含まれる特徴量と第２特徴量群に含まれる特徴量のコサイン類似度である。また、ステップＳ２６において算出される第２スコアは、各特徴量のコサイン類似度を複数の身体部位について合算したものである。ステップＳ２５の処理とステップＳ２６の処理をまとめると、第２スコアＳＣ２は以下の式（４）で表される。ただし、ｋは１からｎまでの整数であり、各特徴量の長さはすべて１に正規化されており、Σはｋが１からｎまでの項の和を意味するものとする。なお、式（４）において、Ｆ１［ｋ］・Ｆ２［ｋ］は第１スコアに相当する。
ＳＣ２＝Σ（Ｆ１［ｋ］・Ｆ２［ｋ］） （４）

また、第４実施形態では、ステップＳ２４において欠落している特徴量に与えられる所定値はゼロベクトルである。Ｆ１［ｋ］とＦ２［ｋ］のうちの一方がゼロベクトルである場合には、Ｆ１［ｋ］・Ｆ２［ｋ］はゼロである。そのため、欠落している特徴量に対応する第１スコアはゼロである。これは、コサイン類似度の性質により、Ｆ１［ｋ］とＦ２［ｋ］が無相関であることを示している。したがって、欠落している特徴量が演算結果に影響を与えないように無効化して第２スコアを算出することができる。

以上のように、第４実施形態においては、コサイン類似度をスコアの算出に適用した場合において、欠落している特徴量をゼロベクトルに設定することにより、条件分岐によりスコアの計算式を変更しなくても欠落している特徴量を無効化することができる。したがって、第４実施形態によれば、より好適な生体照合を実現し得る生体照合装置２が提供される。

上述の実施形態において説明した装置又はシステムは以下の第５実施形態又は第６実施形態のようにも構成することができる。

［第５実施形態］
図１２は、第５実施形態に係る情報処理システム３の機能ブロック図である。情報処理システム３は、画像情報取得手段３１１及び出力手段３１２を備える。画像情報取得手段３１１は、方向情報と方向情報の品質を示す品質情報とを生体画像から取得する。出力手段３１２は、方向情報に対応付けられた方向と、品質情報に対応付けられた長さとを有するベクトルが入力されることにより生体画像の特徴量を出力する。

第５実施形態によれば、より好適な生体照合を実現し得る情報処理システム３が提供される。

［第６実施形態］
図１３は、第６実施形態に係る生体照合システム４の機能ブロック図である。生体照合システム４は、第１特徴量群取得手段４２１、第２特徴量群取得手段４２２及び照合手段４２３を備える。第１特徴量群取得手段４２１は、第１対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第１特徴量群を取得する。第２特徴量群取得手段４２２は、第２対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第２特徴量群を取得する。照合手段４２３は、複数の身体部位の各々について、第１特徴量群に含まれる特徴量と、第２特徴量群に含まれる特徴量とを照合して第１スコアを算出し、複数の身体部位にそれぞれ対応する複数の第１スコアを合算して得られた第２スコアを出力する。照合手段４２３は、第１特徴量群及び第２特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値を設定する。

第６実施形態によれば、より好適な生体照合を実現し得る生体照合システム４が提供される。

［変形実施形態］
この開示は、上述の実施形態に限定されることなく、この開示の趣旨を逸脱しない範囲において適宜変更可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、この開示の実施形態である。

上述の第１実施形態又は第２実施形態において、生体画像は、指紋、掌紋又は血管の画像であることが望ましい。生体画像がこれらの画像である場合には、生体画像から取得され得る方向情報は、指紋又は掌紋に含まれる隆線の方向、あるいは血管部分の濃淡により現れる線の方向である。これらの方向情報からベクトルを抽出する場合には、方向成分には特徴が含まれているが、長さ成分には特徴が含まれない。したがって、第１実施形態又は第２実施形態のようにベクトルの長さに品質情報を組み込んでも特徴抽出の性能は劣化しない。したがって、第１実施形態又は第２実施形態の構成は、生体画像が指紋、掌紋又は血管の画像である場合に好適である。

また、第１実施形態又は第２実施形態において、生体画像は、虹彩の画像であることも望ましい。生体画像が虹彩の画像である場合には、生体画像から取得され得る方向情報は、虹彩の輝度勾配の方向である。これらの方向情報からベクトルを抽出する場合には、方向成分には多くの特徴が含まれているが、長さ成分、すなわち勾配の大きさに含まれる特徴はさほど多くない。したがって、第１実施形態又は第２実施形態のようにベクトルの長さに品質情報を組み込んでも特徴抽出の性能はさほど劣化しない。したがって、第１実施形態又は第２実施形態の構成は、生体画像が虹彩の画像である場合も好適である。

上述の第３実施形態又は第４実施形態において、複数の身体部位は、複数の指、両手又は両目の虹彩であることが望ましい。生体画像がこれらの画像である場合には、同種部位から特徴量を複数個取得することができるため、１つの部位の特徴量に欠落があった場合であっても他の部位の特徴量で補完できる可能性が高い。したがって、第３実施形態又は第４実施形態の構成は、複数の身体部位が複数の指、両手又は両目の虹彩である場合に好適である。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ、ＦＰＧＡ等の回路であってもよい。

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

なお、上述の実施形態は、いずれもこの開示を実施するにあたっての具体化の例を示したものに過ぎず、これらによってこの開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、この開示はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得する画像情報取得手段と、
前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力する出力手段と、
を有する情報処理システム。

（付記２）
前記生体画像は、指紋、掌紋又は血管の画像であり、
前記方向情報は、前記指紋、前記掌紋又は前記血管による線の方向を示す
付記１に記載の情報処理システム。

（付記３）
前記生体画像は、虹彩の画像であり、
前記方向情報は、前記虹彩の輝度勾配の方向を示す
付記１に記載の情報処理システム。

（付記４）
前記出力手段は、入力層及び出力層を有するニューラルネットワークを含み、
前記ベクトルは、前記入力層に入力され、
前記特徴量は、前記出力層から出力される
付記１乃至３のいずれか１項に記載の情報処理システム。

（付記５）
方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得するステップと、
前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力するステップと、
を有する情報処理方法。

（付記６）
コンピュータに、
方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得するステップと、
前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力するステップと、
を有する情報処理方法を実行させる情報処理プログラムを記憶した記憶媒体。

（付記７）
第１対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第１特徴量群を取得する第１特徴量群取得手段と、
第２対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第２特徴量群を取得する第２特徴量群取得手段と、
前記複数の身体部位の各々について、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とを照合して第１スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第１スコアを合算して得られた第２スコアを出力する照合手段と、
を有し、
前記照合手段は、前記第１特徴量群及び前記第２特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値を設定する
生体照合システム。

（付記８）
前記所定値が設定された場合に算出される前記第１スコアは、照合対象の特徴量が無相関であることを示す値である
付記７に記載の生体照合システム。

（付記９）
前記照合手段は、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とのコサイン類似度に基づいて前記第１スコアを算出し、
前記所定値が設定された特徴量は、ゼロベクトルである
付記７又は８に記載の生体照合システム。

（付記１０）
前記複数の身体部位は、複数の指、両手又は両目の虹彩である
付記７乃至９のいずれか１項に記載の生体照合システム。

（付記１１）
第１対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第１特徴量群を取得するステップと、
第２対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第２特徴量群を取得するステップと、
前記複数の身体部位の各々について、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とを照合して第１スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第１スコアを合算して得られた第２スコアを出力するステップと、
を有し、
前記第１特徴量群及び前記第２特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される
生体照合方法。

（付記１２）
コンピュータに、
第１対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第１特徴量群を取得するステップと、
第２対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第２特徴量群を取得するステップと、
前記複数の身体部位の各々について、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とを照合して第１スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第１スコアを合算して得られた第２スコアを出力するステップと、
を有し、
前記第１特徴量群及び前記第２特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される
生体照合方法を実行させる生体照合プログラムを記憶した記憶媒体。

１ 情報処理装置
２ 生体照合装置
３ 情報処理システム
４ 生体照合システム
１０１ プロセッサ
１０２ メモリ
１０３ 通信Ｉ／Ｆ
１０４ 入力装置
１０５ 出力装置
１１１ 画像情報取得部
１１２ 特徴量出力部
１２１ 第１特徴量群取得部
１２２ 第２特徴量群取得部
１２３ 照合部
３１１ 画像情報取得手段
３１２ 出力手段
４２１ 第１特徴量群取得手段
４２２ 第２特徴量群取得手段
４２３ 照合手段

Claims (6)

1. 第１対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第１特徴量群を取得する第１特徴量群取得手段と、
   第２対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第２特徴量群を取得する第２特徴量群取得手段と、
   前記複数の身体部位の各々について、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とを照合して第１スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第１スコアを合算して得られた第２スコアを出力する照合手段と、
   を有し、
   前記照合手段は、前記第１特徴量群及び前記第２特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値を設定する
   生体照合システム。
2. 前記所定値が設定された場合に算出される前記第１スコアは、照合対象の特徴量が無相関であることを示す値である
   請求項１に記載の生体照合システム。
3. 前記照合手段は、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とのコサイン類似度に基づいて前記第１スコアを算出し、
   前記所定値が設定された特徴量は、ゼロベクトルである
   請求項１又は２に記載の生体照合システム。
4. 前記複数の身体部位は、複数の指、両手又は両目の虹彩である
   請求項１乃至３のいずれか１項に記載の生体照合システム。
5. 第１対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第１特徴量群を取得するステップと、
   第２対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第２特徴量群を取得するステップと、
   前記複数の身体部位の各々について、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とを照合して第１スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第１スコアを合算して得られた第２スコアを出力するステップと、
   を有し、
   前記第１特徴量群及び前記第２特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される、
   生体照合システムによる生体照合方法。
6. コンピュータに、
   第１対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第１特徴量群を取得するステップと、
   第２対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第２特徴量群を取得するステップと、
   前記複数の身体部位の各々について、前記第１特徴量群に含まれる特徴量と、前記第２特徴量群に含まれる特徴量とを照合して第１スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第１スコアを合算して得られた第２スコアを出力するステップと、
   を有し、
   前記第１特徴量群及び前記第２特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される
   生体照合方法を実行させる生体照合プログラム。

Images