JP7188566B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

特許文献１には、２種類の生体情報（例えば静脈画像及び指紋画像）と、データベースに予め登録されている２種類の登録生体情報とをそれぞれ照合することによって利用者を認証する生体認証システムが開示されている。

特開２０１３－１２０５８０号公報

しかしながら、特許文献１に記載されたシステムでは、取得された２種類の生体情報の品質を考慮せずに、対応する登録生体情報との照合を行っている。このため、取得された生体情報の一方あるいは両方の品質が低い場合には、認証精度が低くなる可能性がある。

そこで、本発明は、上述の問題に鑑み、生体認証における認証精度を向上できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の一つの観点によれば、入力された撮影画像から同一の被写体について複数の生体情報を検出する検出部と、前記生体情報ごとに生体認証における品質を評価する評価部と、前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定する特定部と、を備える情報処理装置が提供される。

本発明の他の観点によれば、入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、前記生体情報ごとに生体認証における品質を評価するステップと、前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、を備える情報処理方法が提供される。

本発明のさらに他の観点によれば、コンピュータに、入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、前記生体情報ごとに生体認証における品質を評価するステップと、前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、を実行させるためのプログラムが提供される。

本発明によれば、生体認証における認証精度を向上できる情報処理装置、情報処理方法及びプログラムを提供することができる。

第１実施形態における生体認証システムの全体構成例を示すブロック図である。 第１実施形態におけるデータベースが記憶する登録者情報の一例を示す図である。 第１実施形態における認証サーバのハードウェア構成例を示すブロック図である。 第１実施形態における認証サーバの処理の一例を示すフローチャートである。 第１実施形態における人型を用いた認証対象者の検出方法を説明する図である。 第１実施形態において検出される複数種の生体情報を示す図である。 第１実施形態における生体情報の品質評価方法を説明する図である。 第１実施形態における生体情報の品質評価方法を説明する図である。 第１実施形態における生体情報の品質評価方法を説明する図である。 第１実施形態における生体情報の品質評価方法を説明する図である。 第１実施形態における生体情報の品質評価方法を説明する図である。 第１実施形態における生体情報の品質評価方法を説明する図である。 第１実施形態における生体情報の品質評価方法を説明する図である。 第１実施形態における生体情報の品質評価方法を説明する図である。 第１実施形態における生体情報の品質評価方法を説明する図である。 第１実施形態における生体情報の品質評価方法を説明する図である。 第２実施形態における複数種の生体認証と照合スコアに対する重み付けとの関係の一例を示す図である。 第２実施形態における認証サーバの処理の一例を示すフローチャートである。 第２実施形態における照合スコアの算出結果の一例を示す図である。 第２実施形態におけるマルチモーダル照合スコアの算出方法及び算出結果の一例を示す図である。 第３実施形態における認証サーバの処理の一例を示すフローチャートである。 第４実施形態における情報処理装置の機能を示すブロック図である。 変形実施形態におけるニューラルネットを用いた学習処理を説明する概略図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
先ず、本実施形態における生体認証システム１の構成について、図１乃至図３を参照しながら説明する。図１は、本実施形態における生体認証システム１の全体構成例を示すブロック図である。生体認証システム１は、ＬＡＮ（Local Area Network）やインターネット等のネットワークＮＷを介して、認証サーバ１０、データベース２０、及びカメラ３０が接続された情報処理システムである。生体認証システム１は、例えば小売店やデパート等の店舗、会社、交通機関、工場等の各種施設に設置される。

認証サーバ１０は、撮影画像の中から検出した人物が、データベース２０に生体情報が予め登録されている人物（以下、「登録者」と呼ぶ。）であるか否かを認証する情報処理装置である。認証サーバ１０は、画像取得部１１、生体情報検出部１２、品質評価部１３、特定部１４、認証部１５、及びカメラ制御部１６を備える。なお、各部の機能の詳細については、後述する。

図２は、データベース２０が記憶する登録者情報の一例を示す図である。データベース２０は、登録者を識別する登録者ＩＤに対して、登録者の属性情報（氏名、年齢、性別等）及び複数種の生体情報を関連付けて記憶している。本実施形態における“生体情報”の語句は、生体画像及び生体画像から抽出される特徴量を意味するものとする。図２に示すように、生体画像としては、例えば、顔画像、掌紋画像、指紋画像、及び耳介画像等が挙げられる。顔特徴量は、顔の特徴の情報を計算し、データ化したものである。

カメラ３０は、例えば、店舗や会社等の施設の監視エリアにおいて任意の台数で設置された防犯カメラ等の撮影装置であり、撮影した画像データを認証サーバ１０へ逐次送信する。なお、図１において、カメラ３０は、ネットワークＮＷを介して認証サーバ１０に有線接続されているが、接続方式は有線接続に限られない。カメラ３０は、認証サーバ１０に無線接続されてもよい。また、図１においては、カメラ３０の台数は、複数（Ｎ≧２）であるが、単数の場合も有り得る。

図３は、本実施形態における認証サーバ１０のハードウェア構成例を示すブロック図である。認証サーバ１０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central Processing Unit）１５１、ＲＡＭ（Random Access Memory）１５２、ＲＯＭ（Read Only Memory）１５３及びＨＤＤ（Hard Disk Drive）１５４を備える。また、認証サーバ１０は、通信Ｉ／Ｆ（インターフェース）１５５、表示装置１５６及び入力装置１５７を備える。ＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、ＨＤＤ１５４、通信Ｉ／Ｆ１５５、表示装置１５６及び入力装置１５７は、バスライン１５８を介して相互に接続される。なお、表示装置１５６及び入力装置１５７は、これらの装置を駆動するための駆動装置（不図示）を介してバスライン１５８に接続されてもよい。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムに従って所定の動作を行うとともに、認証サーバ１０の各部を制御する機能を有するプロセッサである。ＲＡＭ１５２は、揮発性記憶媒体から構成され、ＣＰＵ１５１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１５３は、不揮発性記憶媒体から構成され、認証サーバ１０の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１５４は、不揮発性記憶媒体から構成され、処理に必要なデータ、認証サーバ１０の動作用プログラム等を記憶する記憶装置である。

通信Ｉ／Ｆ１５５は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１５６は、液晶ディスプレイ、ＯＬＥＤディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置１５７は、キーボード、ポインティングデバイス等であって、ユーザが認証サーバ１０を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置１５６及び入力装置１５７は、タッチパネルとして一体に形成されてもよい。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムをＲＡＭ１５２にロードして実行する。これにより、ＣＰＵ１５１は、上述した画像取得部１１、生体情報検出部１２、品質評価部１３、特定部１４、認証部１５、及びカメラ制御部１６等の機能を実現する。

なお、図３に示すハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。さらに、本実施形態の一部の機能がネットワークＮＷを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１５４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

続いて、上述のように構成された生体認証システム１の動作について説明する。図４は、本実施形態における認証サーバ１０の処理の一例を示すフローチャートである。この処理は、例えばカメラ３０から撮影画像を取得するたびに実行される。

先ず、認証サーバ１０（画像取得部１１）は、カメラ３０から撮影画像を取得する（ステップＳ１０１）。次に、認証サーバ１０（生体情報検出部１２）は、撮影画像の中に所定の人型と一致する被写体が存在するか否かを判定する（ステップＳ１０２）。

認証サーバ１０（生体情報検出部１２）が、撮影画像の中に所定の人型と一致する被写体が存在すると判定した場合（ステップＳ１０２：ＹＥＳ）には、処理はステップＳ１０３に移行する。これに対し、認証サーバ１０が、撮影画像の中に所定の人型と一致する被写体は存在しないと判定した場合（ステップＳ１０２：ＮＯ）には、図４の処理は終了する。

図５は、本実施形態における人型を用いた認証対象者（被写体）の検出方法を説明する図である。ここでは、所定の人型Ｔとのパターンマッチングにより、撮像画像ＩＭＧ＿１の中から３人の認証対象者Ｐ１～Ｐ３がそれぞれ検出されることが示されている。人型Ｔは、人体の様々に姿勢に対応するように、複数の形状のパターンが予め用意されていると好適である。人型Ｔを用いることで、人間以外の物体を排除できるため、被写体の検出速度を向上できる。

ステップＳ１０３において、認証サーバ１０（生体情報検出部１２）は、人型と一致した被写体の画像領域の中から被写体の生体情報を検出できたか否かを判定する。本実施形態では、認証サーバ１０（生体情報検出部１２）は、データベース２０に登録されている複数種の登録生体情報とそれぞれ照合可能な複数種の生体情報を、単一の撮影画像から検出する。

図６は、本実施形態において検出される複数種の生体情報を説明する図である。ここでは、単一の撮像画像ＩＭＧ＿２から同一の被写体について、顔画像Ｍ１、指紋画像Ｍ２、Ｍ３、耳介画像Ｍ４、の３種の生体情報が検出される場合が示されている。

認証サーバ１０（生体情報検出部１２）が、人型の被写体から生体情報を検出できた場合（ステップＳ１０３：ＹＥＳ）には、処理はステップＳ１０４に移行する。これに対し、認証サーバ１０が、人型の被写体から生体情報を検出できなかった場合（ステップＳ１０３：ＮＯ）には、図４の処理は終了する。生体情報を検出できない場合の具体例としては、サングラス、マスク、手袋、帽子等の装飾品によって被写体の身体部位が覆われ、身体部位の特徴量を出力するための情報を十分に検出できない場合や、身体部位の向きにより特徴量を出力するための情報を検出できない場合等が該当する。例えば、図６の例では、左手の指が内側を向いているため、高品質の指紋の生体情報は得られない。

ステップＳ１０４において、認証サーバ１０（品質評価部１３）は、検出された複数種の生体情報について、生体情報ごとに品質値を算出する。本実施形態における“品質値”の語句は、生体認証の中で実行される照合処理において、撮影画像から検出された生体情報（生体画像）がデータベース２０に登録されている登録生体情報に対する照合対象として適しているか否かを示す度合いを示す。

図７Ａ乃至図１１Ｂは、本実施形態における認証サーバ１０の生体情報の品質評価方法を説明する図である。認証サーバ１０（品質評価部１３）は、複数の指標に基づいて生体情報の品質を総合的に評価する。以下では、５つの指標に分けて生体情報の品質評価方法を説明する場合を説明する。ただし、品質を評価するための指標はこれらに限定されない。

図７Ａ及び図７Ｂは、撮影画像ＩＭＧ＿３、ＩＭＧ＿４における生体情報の取得部位（以下、単に「身体部位」と呼ぶ。）の大きさに基づいて品質を評価する場合をそれぞれ示している。図７Ａでは、撮影画像ＩＭＧ＿３における照合対象者（被写体）Ｐが小さく、生体情報が取得される身体部位の大きさも小さい。このような場合、撮影画像ＩＭＧ＿３から検出される生体情報の品質値は低くなる。これに対し、図７Ｂでは、撮影画像ＩＭＧ＿４における身体部位（顔、耳、手）の大きさが十分に大きい。このような場合、図７Ａの例よりも生体情報の品質値は高くなる。図７Ｂでは、撮影画像ＩＭＧ＿４からは、顔画像Ｍ１が高品質で検出される。

図８Ａ及び図８Ｂは、撮影画像ＩＭＧ＿５、ＩＭＧ＿６における身体部位の鮮明度に基づいて品質を評価する場合をそれぞれ示している。図８Ａでは、撮影画像ＩＭＧ＿５において生体情報が取得される複数の身体部位（顔、手、耳）が不鮮明な状態で表示されている。このような場合、生体情報の品質値はいずれも低くなる。これに対し、図８Ｂでは、撮影画像ＩＭＧ＿６において各身体部位が鮮明に表示されている。このような場合、図８Ａの例よりも生体情報の品質値は高くなる。

図９Ａ及び図９Ｂは、撮影画像ＩＭＧ＿７、ＩＭＧ＿８における身体部位の向きに基づいて品質を評価する場合をそれぞれ示している。図９Ａでは、撮影画像ＩＭＧ＿７において照合対象者の顔方向はカメラ３０の撮影方向から大きく外れていることを示している。撮影画像ＩＭＧ＿７には顔の左側部分のみが含まれ、顔特徴量を高精度に算出することが難しい。このような場合、顔画像Ｍ１に関する品質値は低くなる。これに対し、図９Ｂでは、撮影画像ＩＭＧ＿８において照合対象者の顔は正面を向いている、すなわち、照合対象者はカメラ３０とほぼ対向していることが示されている。このような場合、図９Ａの例よりも顔画像Ｍ１の品質値は高くなる。一方、照合対象者の手の握り、顔の向きにより、図９Ａの例よりも指紋画像Ｍ２、Ｍ３、耳介画像Ｍ４、Ｍ５の品質値は低くなる。

図１０Ａ及び図１０Ｂは、撮影画像ＩＭＧ＿９、ＩＭＧ＿１０における身体部位の輝度に基づいて品質を評価する場合をそれぞれ示している。図１０Ａでは、撮影画像ＩＭＧ＿９において生体情報が取得される身体部位（顔、耳、手）の輝度がいずれも低い場合が示されている。このような場合、各部位から検出される生体情報の品質値は低くなる。これに対し、図１０Ｂでは、撮影画像ＩＭＧ＿１０における同部位の輝度がいずれも高い場合が示されている。この場合、図１０Ａの例よりも各部位から検出される生体情報の品質値は高くなる。なお、輝度が高すぎる場合にも、各部位から検出される生体情報の品質値が悪くなる場合がある。このような場合には、輝度を適切な値にまで下げることで生体情報の品質値を高くできる。

図１１Ａ及び図１１Ｂは、撮影画像ＩＭＧ＿１１、ＩＭＧ＿１２における身体部位と、身体部位を遮蔽する遮蔽物との位置関係に基づいて品質を評価する場合をそれぞれ示している。図１１Ａでは、撮影画像ＩＭＧ＿１１において生体情報が取得される顔の一部が傘（遮蔽物Ｘ）によって遮蔽されている。このような場合、顔画像Ｍ１に関する品質値は低くなる。これに対し、図１１Ｂでは、撮影画像ＩＭＧ＿１２において照合対象者の顔は傘によって遮蔽されていない。このような場合、図１１Ａの例よりも顔画像Ｍ１に関する品質値は高くなる。

次に、認証サーバ１０（特定部１４）は、算出された品質値を降順にソートし、品質値が最高点である生体情報を生体認証に用いる生体情報（以下、「認証用生体情報」と呼ぶ。）として特定する（ステップＳ１０５）。本実施形態においては、認証用生体情報は１つ選択するものとする。なお、最高点の生体情報が複数ある場合には、所定の優先度や認証精度に基づいて１つ選択すればよい。

次に、認証サーバ１０（カメラ制御部１６）は、特定された認証用生体情報の品質値が高くなるように、カメラ３０を制御する（ステップＳ１０６）ことで、認証用生体情報を更新する（ステップＳ１０７）。カメラ３０の制御対象は、上述した品質評価における指標に対応する。以下、５つの指標（大きさ、鮮明度、向き、輝度、遮蔽物の有無）に対応する制御例について説明する。ただし、制御対象はこれらに限定されない。また、制御対象とする指標は１つには限定されない。認証サーバ１０（カメラ制御部１６）は、複数の指標を任意に組み合わせてカメラ３０を制御できる。

（Ａ）大きさ
図７Ａに示したように、撮影画像における照合対象者及び身体部位の大きさが小さい場合、認証サーバ１０（カメラ制御部１６）は、ズーム倍率を変更する。これにより、認証サーバ１０（カメラ制御部１６）は、図７Ｂに示すように身体部位を拡大して、より品質の高い認証用生体情報を取得できる。

（Ｂ）鮮明度
図８Ａに示したように、撮影画像における照合対象者及び身体部位が不鮮明である場合、認証サーバ１０（カメラ制御部１６）は、例えば焦点距離を身体部位に合わせて変更する。これにより、認証サーバ１０（カメラ制御部１６）は、図８Ｂに示すように認証用生体情報が取得される身体部位を鮮明にし、より品質の高い認証用生体情報を取得できる。

（Ｃ）向き
図９Ａに示したように、撮影画像における照合対象者の顔が正面を向いていない場合、認証サーバ１０（カメラ制御部１６）は、例えばカメラ３０を他のカメラ３０に切替える、あるいは、カメラ３０の角度を身体部位に合わせて変更する。これにより、認証サーバ１０（カメラ制御部１６）は、図９Ｂに示すように認証用生体情報が取得される顔部分を鮮明にし、より品質の高い認証用生体情報（顔画像Ｍ１）を取得できる。

（Ｄ）輝度
図１０Ａに示したように、撮影画像における照合対象者及び身体部位の輝度が低い（すなわち、暗い）場合、認証サーバ１０（カメラ制御部１６）は、例えばカメラ３０内での信号処理、あるいは、カメラ３０に搭載された照明（不図示）の点灯により身体部位における輝度を変更する。これにより、認証サーバ１０（カメラ制御部１６）は、図１０Ｂに示すように認証用生体情報が取得される身体部位を明るくし、より品質の高い認証用生体情報を取得できる。

（Ｅ）遮蔽物
図１１Ａに示したように、撮影画像において照合対象者の身体部位が遮蔽物で遮蔽されている場合、認証サーバ１０（カメラ制御部１６）は、例えばカメラ３０を他のカメラ３０に切替える、あるいは、カメラ３０の角度を身体部位に合わせて変更する。これにより、認証サーバ１０（カメラ制御部１６）は、図１１Ｂに示すように認証用生体情報が取得される顔部分を鮮明にし、より品質の高い認証用生体情報（顔画像Ｍ１）を取得できる。

次に、認証サーバ１０（認証部１５）は、認証用生体情報とデータベース２０に登録されている同種の登録生体情報との生体認証を実行する（ステップＳ１０８）。認証部１５は、複数の生体情報にそれぞれ対応する複数の生体照合エンジン（不図示）を有する。

そして、認証サーバ１０（認証部１５）は、認証用生体情報との類似度（照合スコア）が所定の閾値以上である登録生体情報が存在すると判定した場合（ステップＳ１０９：ＹＥＳ）には、類似度（照合スコア）が最も高い登録生体情報に関連付けられた登録者ＩＤを出力し（ステップＳ１１０）、図４の処理を終了する。これに対し、類似度（照合スコア）が所定の閾値以上である登録生体情報が存在しないと判定した場合（ステップＳ１０９：ＮＯ）には、該当する登録者が存在しない認証結果を出力し（ステップＳ１１１）、図４の処理を終了する。

以上のように、本実施形態によれば、認証サーバ１０は単一の撮影画像から検出された複数種の生体情報の品質値を算出し、その品質値が最も高い認証用生体情報を用いて認証処理を実行する。このため、生体認証における認証精度を向上させることができる。

また、認証サーバ１０は、特定された認証生体情報の品質値がさらに高くなるように、カメラ３０を自動制御する機能を備える。このため、認証精度をさらに向上させることができる。

また、認証サーバ１０が認証用生体情報の特定及びカメラ制御を自動的に行うため、従来のように技術者が各生体情報に対するパラメータを手動で調整する必要がなくなる。この結果、技術者の経験や熟練度に依存することなく、画一的な基準により生体認証（マルチモーダル認証）を実行でき、認証精度を高いレベルで均一化できる。

さらに、認証サーバ１０におけるカメラ３０の自動制御は、品質を評価するために用いた複数の指標に対応して様々な態様で実行される。具体的には、生体情報が取得される身体部位の撮影画像における大きさ、鮮明度、向き、輝度、遮蔽物の有無が品質評価の指標である場合には、それぞれズーム倍率の変更、焦点距離の変更、撮像方向の調整、露出時間の変更、カメラ切り替え等の制御を実行する。これにより、認証生体情報の品質値を向上でき、その結果、認証精度が向上する。

［第２実施形態］
以下、第２実施形態における生体認証システム１について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。第１実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

上述した第１実施形態においては、認証サーバ１０は、複数種の生体情報のなかから、品質値が最も高い認証用生体情報を特定し、認証処理を実行していた。これに対し、本実施形態は、認証サーバ１０は、複数種の生体情報のなかから、品質値が所定の基準を満たす生体情報を複数選択し、認証処理を実行する点で第１実施形態と異なる。

図１２は、本実施形態における複数種の生体認証と照合スコアに対する重み付けとの関係の一例を示す図である。ここでは、可視光カメラで生体情報を取得する場合を想定し、認証精度の高い順に顔認証、指紋認証、耳介認証が縦方向に並んでいる。また、横方向には、各生体認証の結果が１位から３位である照合スコア（類似度）について、所定の重み付けを行うことが示されている。具体的には、顔認証において顔画像と登録顔画像との類似度が１位となった人物の照合スコアには、“１０”の重み付けを、３位となった人物の照合スコアには“４”の重み付けを行うことを示している。一方、認証精度が一番低い耳介認証の場合には、耳介画像と登録耳介画像との類似度が１位となった人物の照合スコアには、“３”の重み付けを、３位となった人物の照合スコアには“１”の重み付けを行うことを示している。

図１３は、本実施形態における認証サーバ１０の処理の一例を示すフローチャートである。

先ず、認証サーバ１０（画像取得部１１）は、カメラ３０から撮影画像を取得する（ステップＳ２０１）。次に、認証サーバ１０（生体情報検出部１２）は、撮影画像の中に所定の人型と一致する被写体が存在するか否かを判定する（ステップＳ２０２）。

認証サーバ１０が、撮影画像の中に所定の人型と一致する被写体が存在すると判定した場合（ステップＳ２０２：ＹＥＳ）には、処理はステップＳ２０３に移行する。これに対し、認証サーバ１０が、撮影画像の中に所定の人型と一致する被写体が存在しないと判定した場合（ステップＳ２０２：ＮＯ）には、図１３の処理は終了する。

ステップＳ２０３において、認証サーバ１０（生体情報検出部１２）は、人型と一致した被写体の画像領域の中から被写体の生体情報を検出できたか否かを判定する。認証サーバ１０（生体情報検出部１２）は、データベース２０に登録されている複数種の登録生体情報とそれぞれ照合可能な複数種の生体情報を、単一の撮影画像から検出する。

認証サーバ１０（生体情報検出部１２）が、人型の被写体から生体情報を検出できた場合（ステップＳ２０３：ＹＥＳ）には、処理はステップＳ２０４に移行する。これに対し、認証サーバ１０が、人型の被写体から生体情報を検出できなかった場合（ステップＳ２０３：ＮＯ）には、図１３の処理は終了する。

ステップＳ２０４において、認証サーバ１０（品質評価部１３）は、検出された複数種の生体情報について、生体情報ごとに品質値を算出する。

次に、認証サーバ１０（認証部１５）は、算出された品質値に基づいて生体認証に使用可能な認証用生体情報を複数選択する（ステップＳ２０５）。すなわち、品質値が低い生体情報は、除かれる。

次に、認証サーバ１０（認証部１５）は、選択された複数の認証用生体情報を、対応する生体照合エンジンに送信し（ステップＳ２０６）、照合処理を実行する。

図１４は、本実施形態における生体情報ごとの照合スコアの一例を示す図である。ここでは、３種類の生体認証（顔認証、指紋認証、耳介認証）における上位３名の照合スコアが示されている。図中のかっこ内は、登録者ＩＤである。例えば、顔認証の場合、登録者ＩＤが“０１９”の登録者に対する照合スコア（類似度）は“０．８７”であり、最も高い。同様に、指紋認証の場合にも登録者ＩＤが“０１９”の登録者に対する照合スコアは“０．９７”であり、最も高い。そして、耳介認証の場合には、登録者ＩＤが“０１９”の登録者に対する照合スコアは、３位である。

次に、認証サーバ１０（認証部１５）は、複数の認証用生体情報について、いずれかの照合スコアが閾値（基準値）以上であるか否かを判定する（ステップＳ２０７）。ここで、認証サーバ１０（認証部１５）は、照合スコアが閾値（基準値）以上となる認証用生体情報が存在すると判定した場合（ステップＳ２０７：ＹＥＳ）には、処理はステップＳ２０８に移行する。これに対し、認証サーバ１０（認証部１５）は、すべての照合スコアが閾値（基準値）未満であると判定した場合（ステップＳ２０７：ＮＯ）には、該当者無しの認証結果を出力し（ステップＳ２１１）、図１３の処理は終了する。

ステップＳ２０８において、認証サーバ１０（認証部１５）は、複数の生体認証により得られた照合スコアに対して、生体情報ごとに所定の重み付けを行い、マルチモーダル照合スコアを算出する。

次に、認証サーバ１０（認証部１５）は、マルチモーダル照合スコアに基づいて認証対象者を認証する（ステップＳ２０９）。

図１５は、本実施形態におけるマルチモーダル照合スコアの算出方法の一例を示す図である。ここでは、図１４に示した３種類の生体認証（顔認証、指紋認証、耳介認証）における照合スコアから登録者ＩＤごとにマルチモーダル照合スコアを算出している。マルチモーダル照合スコアは、例えば以下の演算式により算出される。
（マルチモーダル照合スコア）＝（顔認証の照合スコア）＊（顔認証の順位に応じた重み係数）＋（指紋認証の照合スコア）＊（指紋認証の順位に応じた重み係数）＋（耳介認証の照合スコア）＊（耳介認証の順位に応じた重み係数）

したがって、登録者ＩＤが“０１９”の登録者に対する顔認証の照合スコアが“０．８７”、重み付けが“１０”であり、指紋認証の照合スコアが“０．９７”、重み付けが“７”であり、耳介認証の照合スコアが“０．５１”、重み付けが“１”である場合には、マルチモーダル照合スコアは、図１４に示す照合スコアに基づいて、“０．８７＊１０ ＋ ０．９７＊７ ＋０．５１＊１ ＝ １６．０”と算出される。これを各登録者について集計すると、登録者ＩＤが“０１９”の登録者に対するマルチモーダル照合スコアが最大値となるため、認証対象者は登録者ＩＤが“０１９”の人物であると認証される。

そして、認証サーバ１０（認証部１５）は、マルチモーダル照合スコアが最も高い登録者ＩＤを出力し（ステップＳ２１０）、図１３の処理を終了する。

以上のように、本実施形態によれば、認証サーバ１０は、認証精度に応じた重み付けを用いてマルチモーダル照合スコアを算出し、認証対象者を認証する。換言すると、複数の生体認証の結果を組み合わせて認証する構成であるため、認証精度をさらに向上させることができる。

［第３実施形態］
以下、第３実施形態における生体認証システム１について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。第１及び第２実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

本実施形態の認証サーバ１０は、上述した第２実施形態に対して、第１実施形態で説明したカメラ３０の自動制御機能をさらに加えた構成であり、その他の構成については共通している。

図１６は、本実施形態における認証サーバ１０の処理の一例を示すフローチャートである。この処理は、例えば、上述した図１３のステップＳ２０５とＳ２０６の間に実行され得る。

先ず、認証サーバ１０（特定部１４）は、選択された複数の認証用生体情報のうち、認証精度が最も高い生体情報を特定する（ステップＳ３０１）。複数種の生体認証における認証精度の高さと順位は、予め定義されているものとする。例えば、カメラ３０として可視光カメラを用いる場合には、認証精度の順位を顔認証、指紋認証、耳介認証と定義することができる。

次に、認証サーバ１０（カメラ制御部１６）は、ステップＳ３０１で特定された認証用生体情報の品質がさらに高くなるようにカメラ３０を制御する（ステップＳ３０２）。例えば、顔認証に対応する生体情報（顔画像）が特定されている場合には、顔画像の品質値が高まるようにカメラ３０を制御する。

そして、認証サーバ１０（カメラ制御部１６）は、カメラ３０を制御して新たに検出された複数の生体情報によって認証用生体情報を更新し（ステップＳ３０３）、処理は図１３のステップＳ２０６に移行する。

本実施形態によれば、認証サーバ１０は、複数の認証用生体情報のうち、認証精度が最も高い生体情報の品質値をさらに高めるようにカメラ３０を制御できる。このため、認証精度をさらに向上させることができる。

［第４実施形態］
図１７は、本実施形態における情報処理装置１００の機能を示すブロック図である。本実施形態における情報処理装置１００は、入力された撮影画像から同一の被写体について複数の生体情報を検出する検出部１１０と、生体情報ごとに生体認証における品質を評価する評価部１２０と、被写体の生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから品質に基づいて特定する特定部１３０と、を備える。本実施形態によれば、生体認証における認証精度を向上できる。

［変形実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形をできる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。

上述した実施形態では、複数（複数種）の生体情報のそれぞれの品質値を算出し、認証用生体情報を特定する構成としていたが、複数の生体情報と、生体認証に用いる認証用生体情報との関係を予め学習した学習モデルを用いて認証用生体情報を特定してもよい。また、認証サーバ１０は、入力された複数の生体情報に対して認証用生体情報を出力するニューラルネットワークにおいて、ニューラルネットワークのノード間の重み付けを更新することにより、学習モデルを学習する学習部をさらに備えてもよい。学習モデルを使用することにより、認証処理の高速化が図られる。

図１８は、変形実施形態における学習処理に用いるニューラルネットワークを説明する概略図である。図１８に示すニューラルネットワークは、複数のノードを有する入力層と、複数のノードを有する中間層と、１個のノードを有する出力層とを備える。入力層の各ノードには、入力値である複数種の生体情報が入力される。中間層の各ノードは、入力層の各ノードに接続される。中間層のノードに入力された入力値の各要素は、中間層の各ノードにおける演算に用いられる。中間層の各ノードは、例えば、入力層の各ノードから入力された入力値と、所定の重み付け係数と、所定のバイアス値とを用いて演算値を算出する。中間層の各ノードは、それぞれ出力層に接続され、算出した演算値を出力層のノードに出力する。出力層のノードは、中間層の各ノードから演算値が入力される。

出力層のノードは、中間層の各ノードから入力された演算値と、重み付け係数と、バイアス値とを用いて最適な認証用生体情報Ｍを示す値を出力する。なお、ニューラルネットワークを学習させる際には、例えば誤差逆伝播法が用いられる。具体的には、データを入力層に入力したときの出力値と教師データから得られる出力値とを比較し、比較した２つの出力値の誤差を中間層にフィードバックする。これを誤差が所定の閾値を下回るまで繰り返す。このような学習処理により、ニューラルネットワーク（学習モデル）に任意の生体情報が入力されたときには、最適な認証用生体情報Ｍを示す値を出力できる。

認証サーバ１０の機能の一部をカメラ３０に備えさせる構成も有り得る。例えば、カメラ３０側で所定の人型に基づくパターンマッチングを実行し、撮像画像の中から人型と一致する画像領域を切り出して認証サーバ１０に送信してもよい。また、カメラ３０側で撮影画像から複数種の生体情報を検出して認証サーバ１０に送信してもよい。この場合、認証サーバ１０における処理の負荷が軽減される利点がある。

また、上述の第１実施形態においては、カメラ３０の自動制御を行っていたが、カメラ３０の自動制御を行わない構成としてもよい。この場合、所定の閾値を満たす品質の認証用生体情報が得られた場合には、速やかに生体認証を実行できる。

上述の実施形態においては、認証サーバ１０はネットワークＮＷを介して接続されたカメラ３０から撮影画像を取得していたが、取得先はカメラ３０だけに限られない。例えば、認証サーバ１０は、図示しないスキャナ等の媒体読取装置が光学的あるいは電子的に読取った撮像画像を入力し、生体情報を検出してもよい。同様に、スマートフォンやパーソナルコンピュータ等の利用者端末からネットワークＮＷを介して送信された撮像画像を受信し、生体情報を検出してもよい。

上述の実施形態においては、認証サーバ１０は生体情報の品質を品質値によって表していたが、品質は数値以外で表されてもよい。例えば、数値の代わりに、品質が“高い”、“通常”、“低い”のように分類して評価してもよい。

上述の第３実施形態においては、認証サーバ１０は複数の認証用生体情報のうち、認証精度が最も高い生体認証に対応する認証用生体情報を選択していたが、他の条件により選択してもよい。例えば、認証サーバ１０（カメラ制御部１６）は、複数の前記認証用生体情報のうち、品質値が最も高い認証用生体情報について品質値がさらに高くなるようにカメラ３０を制御してもよい。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード等を用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力された撮影画像から同一の被写体について複数の生体情報を検出する検出部と、
前記生体情報ごとに生体認証における品質を評価する評価部と、
前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定する特定部と、
を備える情報処理装置。

（付記２）
複数の前記生体情報は、単一の前記撮影画像から検出される、
付記１に記載の情報処理装置。

（付記３）
複数の前記生体情報は、前記被写体の異なる身体部位から検出される、
付記１又は２に記載の情報処理装置。

（付記４）
複数の前記生体情報は、前記撮影画像から所定の人型と一致する前記被写体について検出される、
付記３に記載の情報処理装置。

（付記５）
前記特定部において特定された前記認証用生体情報における前記品質を上げるように、前記撮影画像を撮影するカメラを制御するカメラ制御部、
をさらに備える付記３又は４に記載の情報処理装置。

（付記６）
前記認証用生体情報に基づいて前記被写体の前記生体認証を実行する認証部、
をさらに備える付記３乃至５のいずれかに記載の情報処理装置。

（付記７）
前記特定部は、前記品質が最も高い前記認証用生体情報を特定し、
前記認証部は、登録生体情報に対する前記認証用生体情報の類似度に基づいて前記被写体を認証する、
付記６に記載の情報処理装置。

（付記８）
前記特定部は、複数の前記認証用生体情報を特定し、
前記認証部は、登録生体情報に対して前記認証用生体情報ごとに算出した類似度に基づいて前記被写体を認証する、
付記６に記載の情報処理装置。

（付記９）
前記特定部は、前記品質が高い順に所定数の前記認証用生体情報を特定する、
付記８に記載の情報処理装置。

（付記１０）
前記認証部は、前記認証用生体情報ごとの重み付けにより前記類似度を算出する、
付記８又は９に記載の情報処理装置。

（付記１１）
前記評価部は、前記撮影画像における前記身体部位の大きさ、鮮明度、向き、及び輝度の少なくとも一つに基づいて前記品質を評価する、
付記３乃至１０のいずれかに記載の情報処理装置。

（付記１２）
前記評価部は、前記身体部位と、前記身体部位を遮蔽する物体との前記撮影画像における位置関係に基づいて前記品質を評価する、
付記３乃至１０のいずれかに記載の情報処理装置。

（付記１３）
前記カメラ制御部は、前記認証用生体情報が検出された前記身体部位の撮影のために、ズーム倍率、焦点距離、向き及び露出の少なくとも１つを制御する、
付記５に記載の情報処理装置。

（付記１４）
前記カメラ制御部は、複数の前記カメラのうちから、前記認証用生体情報に関する前記品質が最も高くなる前記カメラに切替えて撮影する、
付記５に記載の情報処理装置。

（付記１５）
前記特定部は、複数の前記認証用生体情報を特定し、
前記カメラ制御部は、複数の前記認証用生体情報のうち、認証精度が最も高い前記生体認証に対応する前記認証用生体情報について前記品質がさらに高くなるように前記カメラを制御する、
付記１３又は１４に記載の情報処理装置。

（付記１６）
前記特定部は、複数の前記認証用生体情報を特定し、
前記カメラ制御部は、複数の前記認証用生体情報のうち、前記品質が最も高い前記認証用生体情報について前記品質がさらに高くなるように前記カメラを制御する、
付記１３又は１４に記載の情報処理装置。

（付記１７）
入力された撮影画像から同一の被写体について複数の生体情報を検出する検出部と、
複数の前記生体情報と、複数の前記生体情報のうち生体認証において用いる認証用生体情報との関係を予め学習した学習モデルに基づいて前記認証用生体情報を特定する特定部と、
を備える情報処理装置。

（付記１８）
入力された複数の前記生体情報に対して前記認証用生体情報を出力するニューラルネットワークにおいて、前記ニューラルネットワークのノード間の重み付けを更新することにより、前記学習モデルを学習する学習部、
をさらに備える付記１７に記載の情報処理装置。

（付記１９）
入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、
前記生体情報ごとに生体認証における品質を評価するステップと、
前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、
を備える情報処理方法。

（付記２０）
コンピュータに、
入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、
前記生体情報ごとに生体認証における品質を評価するステップと、
前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、
を実行させるためのプログラムが記録された記録媒体。

ＮＷ・・・ネットワーク
１・・・生体認証システム
１０・・・認証サーバ
１１・・・画像取得部
１２・・・生体情報検出部
１３・・・品質評価部
１４・・・特定部
１５・・・認証部
１６・・・カメラ制御部
２０・・・データベース
３０・・・カメラ
１００・・・情報処理装置
１１０・・・検出部
１２０・・・評価部
１３０・・・特定部
１５１・・・ＣＰＵ
１５２・・・ＲＡＭ
１５３・・・ＲＯＭ
１５４・・・ＨＤＤ
１５５・・・通信Ｉ／Ｆ
１５６・・・表示装置
１５７・・・入力装置
１５８・・・バスライン

Claims (9)

1. 入力された撮影画像から同一の被写体について複数の生体情報を検出する検出部と、
   前記生体情報ごとに生体認証における品質を評価する評価部と、
   前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定する特定部と、
   を備える情報処理装置。
2. 複数の前記生体情報は、前記被写体の異なる身体部位から検出される、
   請求項１に記載の情報処理装置。
3. 前記認証用生体情報に基づいて前記被写体の前記生体認証を実行する認証部、
   をさらに備える請求項２に記載の情報処理装置。
4. 前記特定部は、前記品質が最も高い前記認証用生体情報を特定し、
   前記認証部は、登録生体情報に対する前記認証用生体情報の類似度に基づいて前記被写体を認証する、
   請求項３に記載の情報処理装置。
5. 前記特定部は、複数の前記認証用生体情報を特定し、
   前記認証部は、登録生体情報に対して前記認証用生体情報ごとに算出した類似度に基づいて前記被写体を認証する、
   請求項３に記載の情報処理装置。
6. 前記特定部は、前記品質が高い順に所定数の前記認証用生体情報を特定する、
   請求項５に記載の情報処理装置。
7. 前記評価部は、前記身体部位と、前記身体部位を遮蔽する物体との前記撮影画像における位置関係に基づいて前記品質を評価する、
   請求項２乃至６のいずれか１項に記載の情報処理装置。
8. 入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、
   前記生体情報ごとに生体認証における品質を評価するステップと、
   前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、
   を備える情報処理方法。
9. コンピュータに、
   入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、
   前記生体情報ごとに生体認証における品質を評価するステップと、
   前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、
   を実行させるためのプログラム。

Images