JP5975828B2 - 顔特徴抽出装置および顔認証システム - Google Patents

Description

本発明は、顔画像から顔の各部位に対応する特徴点を抽出する顔特徴抽出装置、およびその顔特徴抽出装置により抽出された特徴点の情報を用いる顔認証システムに関する。

照合対象者の顔を撮影して得られた顔画像を、予め登録された利用者の顔画像と照合することにより、その照合対象者を認証するか否か判定する顔認証システムが用いられている。顔認証システムは、照合時に得られた顔画像から抽出される顔の特徴情報と登録された顔の特徴情報（以下、登録顔情報という）とを照合して、照合対象者が登録された利用者か否かを判定する。

登録顔情報が不適切であると、照合対象者が登録されている利用者本人であるにもかかわらず認証に失敗するおそれがある（いわゆる本人棄却）。そこで、顔画像から抽出された特徴情報に対する、各種の補正パラメータを使った自動補正が行われている。しかしながら、自動補正をしても適切な特徴情報が得られない場合があるため、顔認証システムの管理者が手動操作で特徴情報を修正することが必要になる。

いわゆる生体認証では、顔以外にも、指紋や眼球の虹彩などの身体的特徴が、利用者本人か否かの判定に用いられる。どの身体的特徴が用いられる場合でも、十分な認証精度を得るためには特徴情報が適切に求められている必要があり、画像から自動抽出された特徴情報を管理者が手動操作で修正しなければならないことがある。指紋が用いられる場合の例として、特許文献１には、指紋画像から自動抽出された特徴点が指紋画像に重畳されて表示部に表示され、利用者がマウス等で修正の対象となる位置を指示して、指紋画像上で特徴点の修正作業を行うことができる指紋修正システムが開示されている。

特開平４−３０６７７８号公報

しかしながら、自動抽出された特徴点をそのまま全て表示してしまうと、顔認証システムの管理者はそれぞれの特徴点が何を示しているのかを認識するのが難しく、管理者が特徴点の位置を確認し、不適切な特徴点を修正する作業が非常に煩雑になる。

そこで、本発明は、顔画像から抽出された特徴点を管理者が確認し修正する作業を容易にした顔特徴抽出装置、およびその顔特徴抽出装置により抽出された特徴点の情報を用いる顔認証システムを提供することを目的とする。

かかる課題を解決するために、本発明は、利用者の顔が写された顔画像から顔の各部位に対応する複数の特徴点を抽出する特徴抽出手段と、顔画像から抽出された複数の特徴点のうち、少なくとも一つの部位に対応する特徴点の位置および特徴点が示す顔の部位に基づいて、顔画像上における部位の位置または範囲を示す教示情報を生成し、教示情報を顔画像に重畳させて表示部に表示する教示処理手段と、を有することを特徴とする顔特徴抽出装置を提供する。

操作部を介して指示された、前記顔画像上に教示された部位の修正位置に基づいて、前記顔画像から少なくとも当該部位に対応する特徴点を再抽出する再抽出手段をさらに有することが好ましい。

再抽出手段は、修正位置からの距離が近い位置ほど修正位置が指示された部位に対応する特徴点が抽出され易くなるように、顔画像上での特徴点を再抽出することが好ましい。

教示処理手段は、顔の各部位のうち予め定められた代表部位に関する教示情報を顔画像に重畳させて表示することが好ましい。

教示処理手段は、教示情報および顔画像とともに、操作部を介して各部位を示す項目を選択可能なように表示部に表示し、再抽出手段は、操作部を介して選択された項目に対応する部位について指示された修正位置に基づき、顔画像上での特徴点を再抽出することが好ましい。

また、本発明は、記憶手段と、利用者の顔が写された顔画像から顔の各部位に対応する複数の特徴点を抽出する特徴抽出手段と、顔画像から抽出された複数の特徴点のうち、少なくとも一つの部位に対応する特徴点の位置および特徴点が示す顔の部位に基づいて、顔画像上における部位の位置または範囲を示す教示情報を生成し、教示情報を顔画像に重畳させて表示部に表示する教示処理手段と、操作部を介して入力された指示に応じて、複数の特徴点の情報を利用者の登録顔情報として記憶手段に記憶させる登録手段と、撮影画像から抽出された照合対象者の顔情報を登録顔情報と照合して、照合対象者が利用者であるか判定する認証手段と、を有することを特徴とする顔認証システムを提供する。

本発明の顔特徴抽出装置および顔認証システムによれば、顔画像から抽出された特徴点を管理者が確認し修正する作業が容易になる。

本発明の一実施形態の顔認証システムにおける管理端末の概略構成図である。 教示情報の例を説明するための図である。 顔データ確認画面と顔データ修正画面の例を示した図である。 管理端末による登録処理の動作例を示したフローチャートである。 本発明の一実施形態の顔認証システムにおける認証端末の概略構成図である。

以下、本発明の実施形態について、図面を用いて説明する。本実施形態の顔認証システムは、管理端末と、複数の認証端末とを有する。これらの端末は、例えばローカルエリアネットワーク（ＬＡＮ）などの通信回線を介して、相互に通信可能に接続される。あるいは、管理端末と認証端末は、ＵＳＢケーブルを介して互いに接続されてもよい。なお、管理端末と認証端末とを一体の構成としてもよい。

まず、管理端末について説明する。管理端末は、顔認証システムの管理者によって顔認証システムを管理するために利用される端末であり、例えば、管理用ソフトウェアが実行されているパーソナルコンピュータである。管理端末は、顔認証システムに利用者の特徴情報（例えば、利用者の顔画像から抽出された特徴点の位置情報など）を登録するために、または登録されている特徴情報（登録顔情報）を修正するために用いられる。また、管理端末は、認証端末から認証の記録データを取得し、そのデータを表示部に表示し、またはそのデータを記録部に記録する。

本実施形態の管理端末は、顔特徴抽出装置の一例である。管理端末は、利用者の顔画像から抽出された特徴点の位置情報から、目視により識別され得る顔の代表的な部位（例えば、目、鼻および口）の位置または範囲を管理者に教示する教示情報を生成する。管理端末は、抽出された特徴点を表示部にそのまま表示するのではなく、生成された教示情報を顔画像に重畳して表示する。また、管理端末は、教示情報が示す特定の部位の顔画像上における位置の修正が管理者により指示された場合に、特徴点を再抽出する。これにより、特徴点の確認および修正の作業にかかる管理者の負担が軽減され、また、顔画像上の位置が適切な特徴点が得られる。

図１は、本発明の一実施形態の顔認証システムにおける管理端末１の概略構成図を示す。管理端末１は、登録処理部１０と、記憶部２０と、入出力部３０と、表示部４０と、操作部５０とを有する。

登録処理部１０は、１個または複数個のプロセッサおよびその周辺回路を有する。登録処理部１０は、顔認証システムに登録される利用者の顔を撮影した画像から利用者の顔の特徴点を抽出する。登録処理部１０は、抽出された特徴点について管理者が確認および修正指示を行うための画面を表示部４０に表示させ、管理者が操作部５０を介して入力した修正指示を受け付ける。また、登録処理部１０は、管理者の操作により確定された、登録対象の利用者の識別情報、顔画像および特徴情報などの登録データを、認証端末に送信する。

登録処理部１０による処理対象の画像は、デジタルカメラ等の外部撮影機器により撮影され、それらの機器から取り込まれた画像とする。なお、登録処理部１０による処理対象の画像は、後述する認証端末の撮像部により撮影された画像でもよい。

記憶部２０は、半導体メモリ、磁気記録媒体およびそのアクセス装置ならびに光記録媒体およびそのアクセス装置のうちの少なくとも１つを有する。記憶部２０は、管理端末１を制御するためのコンピュータプログラム、各種パラメータおよびデータなどを記憶する。また、記憶部２０は、顔認証システムのマスタデータとして、各利用者の登録データを記憶する。

入出力部３０は、認証端末などの外部装置に接続する通信インターフェースと、その制御回路とを有する。表示部４０は、例えば液晶ディスプレイで構成され、登録処理部１０により抽出された特徴点を管理者が確認するための顔データ確認画面、および管理者が特徴点の修正を指示するための顔データ修正画面を表示する。操作部５０は、例えばマウスで構成され、特徴点を確定する指示またはある部位の特徴点を修正する指示を管理者が登録処理部１０に入力するために用いられる。表示部４０と操作部５０は、タッチパネルディスプレイとして一体的に構成されてもよい。

次に、登録処理部１０が有する各手段の機能について説明する。登録処理部１０は、顔検出手段１１と、特徴抽出手段１２と、生成手段１３と、表示制御手段１４と、登録手段１５と、再抽出手段１６とを有する。登録処理部１０のこれらの手段は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。なお、これらの手段は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成してもよい。

顔検出手段１１は、入出力部３０を介して取得した処理対象の画像から利用者の顔が写っている領域である顔領域を検出し、その画像から顔領域に含まれる画素のみを含む画像を顔画像として切り出す。顔検出手段１１は、顔領域の大きさが後述のテンプレート顔画像の顔領域と同等になるように、必要に応じて顔領域を拡大縮小する。顔検出手段１１は、顔画像を特徴抽出手段１２に渡す。

顔領域を検出するために、顔検出手段１１は、例えば、取得した画像中の部分領域から１つもしくは複数の特徴量を算出し、その特徴量が人物の顔に対応すると考えられる所定の条件を満たす場合に、その部分領域を顔領域として検出する。具体的には、顔検出手段１１は、例えば、Ｓｏｂｅｌフィルタなどを用いてエッジ画素抽出を行い、その部分領域内におけるエッジ画素の方向分布、またはそのエッジ近傍の輝度分布などの特徴量を算出する。あるいは、人物の顔を撮影した複数の画像から予めこれらの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定してもよい。

特徴抽出手段１２は、顔検出手段１１から取得した顔画像から、顔の各部位に対応する複数の特徴点を抽出する。特徴抽出手段１２は、従来から提案されている様々な特徴点の抽出方法のどれを用いてもよい。本実施形態では、特徴抽出手段１２は、顔検出手段１１から取得した顔画像と、予め用意されたテンプレート顔画像との間で、顔を構成する各部位の画像特徴の類似性を評価することにより、特徴点を探索する。

具体的には、特徴抽出手段１２は、目、鼻、口、眉、顔の輪郭などの各部位を構成する詳細部位について、複数のテンプレート顔画像におけるその詳細部位の周辺領域を、参照画像として用いる。この詳細部位の例を挙げると、例えば部位「右目」には、目頭、目尻、目上端、目下端などが含まれる。「左目」も同様である。また、部位「鼻」には、鼻尖（鼻頂点）、鼻背、鼻右端、鼻左端などが含まれる。部位「口」には、口右端、口左端、口上端、口下端などが含まれる。部位「右眉」には、眉頭、眉尻などが含まれる。「左眉」も同様である。部位「輪郭」には、顎中央、顎右側部、顎左側部などが含まれる。特徴抽出手段１２は、この他に、上記の部位間に位置する頬などの部位についても、テンプレート顔画像におけるその周辺領域を参照画像として用いる。

そして特徴抽出手段１２は、顔画像上の１つの位置において、顔検出手段１１から取得した顔画像の画像特徴と参照画像の画像特徴との相違度である評価値をテンプレートごとに求め、その評価値の総和Ｓを算出する。ここでの画像特徴の例には、各画素の輝度値や色相値などが含まれる。特徴抽出手段１２は、顔画像上の各位置で評価値の総和Ｓを算出し、評価値の総和Ｓの値が最小となる位置を探索する。そして特徴抽出手段１２は、その最小となる位置を、対象となっている詳細部位を示す特徴点として抽出する。なお、テンプレートが１つしかない場合は、特徴抽出手段１２は、そのテンプレートに関する上記の評価値が最小となる位置を、特徴点として抽出する。

特徴抽出手段１２は、抽出した特徴点ごとに、その特徴点を識別するためのコード、顔画像上におけるその特徴点の位置情報（座標情報）、その特徴点が対応する部位または詳細部位を表す部位情報、およびその詳細部位の画像特徴（周辺の画像特徴）を対応付ける。そして特徴抽出手段１２は、特徴点ごとにこれらのデータを合わせた特徴点リストを作成する。この特徴点リストが特徴情報である。特徴抽出手段１２は、この特徴点リストを、記憶部２０に記憶するとともに生成手段１３に渡す。

特徴抽出手段１２は、詳細部位間の相対的な位置関係を考慮して、上記の評価値を算出してもよい。例えば、目頭の特徴点が抽出されている状態で特徴抽出手段１２が目尻の特徴点を抽出する場合には、目頭の特徴点から平均的な目の大きさだけ離れた一定の範囲内に目尻の特徴点があると考えられるため、特徴抽出手段１２は、その範囲内から離れた位置ほど、目尻の特徴点として抽出され難くなるように、上記の評価値をより大きな値に補正してもよい。また、特徴抽出手段１２は、後述する代表部位に関する特徴点のみを抽出する構成としてもよい。

生成手段１３は、顔画像から抽出された複数の特徴点のうち、少なくとも一つの部位に対応する特徴点の位置およびその特徴点が示す顔の部位に基づいて、顔画像上におけるその部位の位置または範囲を示す教示情報を生成する。生成手段１３は、抽出された複数の特徴点のうち、特に、例えば目、鼻および口などの、管理者が目視により識別できる予め定められた代表的な部位（以下、代表部位という）を示す特徴点を用いて、顔画像上における各代表部位の位置（座標情報）を特定し、各代表部位の位置または範囲を管理者に教示するための教示情報を生成する。管理端末１は抽出された特徴点をそのまま表示しないので、教示情報は、特徴点そのものの位置情報とは異なる情報である。生成手段１３は、生成した教示情報を表示制御手段１４に渡す。

ここで例示した目、鼻および口は、管理者が画像上でその位置を正確に認識し易いため、代表部位として適している。一方、例えば輪郭は、画像上でもその位置が曖昧になりがちであるから、代表部位として適していない。なお、目、鼻および口の位置は、認証端末による照合処理でも比較的重視される場合が多く、照合への影響が高い重要部位であるともいえる。

ここで、教示情報の３つの例を説明する。第１の例では、生成手段１３は、代表部位に対応する複数の特徴点を包含する外接図形として外接楕円形を求め、この外接楕円形を規定する中心座標、長径および短径等を教示情報とする。なお、外接図形の形状は楕円に限らず、それらの特徴点に外接する矩形、多角形、または円でもよい。

第２の例では、生成手段１３は、代表部位ごとに、予め定められた形状および大きさのテンプレート枠を用意しておく。生成手段１３は、代表部位に対応する複数の特徴点の重心座標を求め、この重心座標と、その重心座標に合わせて配置されるテンプレート枠を特定する情報とを教示情報とする。

第３の例では、生成手段１３は、代表部位に対応する複数の特徴点の重心座標を求め、この重心座標と、その重心座標に合わせて配置される×印などのマークを特定する情報とを教示情報とする。

生成手段１３は、代表部位ごとに外接図形またはテンプレート枠の形状を変えてもよいし、ある部位には第１の例を適用し別の部位には第２の例を適用してもよい。第２および第３の例では、生成手段１３は、例えば目であれば、認識されやすく信頼度が高いと考えられる目頭および目尻の特徴点の重みを目上端および目下端の特徴点の重みより高くして、重心座標を求めてもよい。この場合、特徴抽出手段１２が特徴点ごとに信頼度を設定しておき、生成手段１３は、信頼度が高い特徴点ほど計算に大きく寄与するように、信頼度に応じた重みを掛けて重心を求めてもよい。

図２（Ａ）〜図２（Ｃ）は、教示情報の例を説明するための図である。図２（Ａ）は、特徴抽出手段１２により抽出された特徴点を×印２１１で示す模式図である。このような特徴点について、生成手段１３が生成した教示情報の例を、図２（Ｂ）および図２（Ｃ）に示す。

図２（Ｂ）は、教示情報として楕円形２２１〜２２４が表示された場合の例を示す模式図である。図２（Ｂ）は、上記の第１および第２の例に対応している。この楕円は、第１の例による、代表部位の特徴点を包含する外接図形でもよいし、第２の例による、代表部位ごとに予め定められた大きさで、中心を各代表部位の重心座標に合わせて配置されるテンプレート枠でもよい。図２（Ｃ）は、教示情報として、代表部位を示す×印２３１〜２３４が表示された場合の例を示す模式図である。図２（Ｃ）は、上記の第３の例に対応している。図２（Ｂ）と図２（Ｃ）の例では、右目、左目および口の特徴点の位置は実際の部位の位置と合っていることが、外接楕円形２２１，２２２，２２４または×印２３１，２３２，２３４によりわかる。一方、鼻の特徴点の位置がずれていることが、外接楕円形２２３または×印２３３によりわかる。

表示制御手段１４は、教示情報を顔画像に重畳させて表示部４０に表示する。表示制御手段１４は、抽出された特徴点を管理者が確認できるように、生成された教示情報と顔画像とを含む顔データ確認画面を表示部４０に表示させる。管理者は、その画面上で、操作部５０を介して、特徴点の位置を修正するか否かを指示することができる。表示制御手段１４は、その指示を受け取ると、管理者が代表部位ごとに特徴点の位置を修正するための顔データ修正画面を表示部４０に表示させる。管理者は、その画面上で、操作部５０を介して、代表部位ごとに特徴点の位置を手動で修正することができる。表示制御手段１４は、顔データ修正画面上でも、教示情報を顔画像に重畳させて表示してもよい。管理者が代表部位の位置を修正した場合、後述するように、再抽出手段１６が特徴点を再抽出する。そのときは、再抽出された特徴点を基に生成手段１３が教示情報を生成した後、表示制御手段１４は、再び顔データ確認画面を表示部４０に表示させる。なお、生成手段１３と表示制御手段１４は、教示情報を生成しその教示情報を顔画像に重畳させて表示部に表示する教示処理手段の一例である。

図３（Ａ）〜図３（Ｃ）は、顔データ確認画面と顔データ修正画面の例を示した図である。図３（Ａ）は、顔データ確認画面の例である。画面の左側の領域３１１では、右目、左目、鼻および口の代表部位を示す楕円形の教示情報３１２〜３１５が、顔画像に重畳表示されている。管理者は、これを見て、代表部位ごとに位置の修正が必要か否かを判断することができる。そして管理者は、画面の右側に表示されている「修正する」のボタン３１６または「確定する」のボタン３１７を例えばマウスでクリックすることにより、操作部５０を介して、特徴点の位置の修正または確定の指示を入力することができる。

図３（Ｂ）は、顔データ修正画面の例である。図３（Ａ）の顔データ確認画面で管理者が「修正する」のボタン３１６を選択すると、表示制御手段１４は、その指示を受け取り、この顔データ修正画面を表示部４０に表示させる。画面の右側には、代表部位を示す「右目」のボタン３２５、「左目」のボタン３２６、「鼻」のボタン３２７および「口」のボタン３２８がそれぞれ表示されている。管理者は、これらのボタンにより、修正対象の代表部位を順次選択する。そして管理者は、代表部位ごとに、画面の左側の領域３２１に表示されている顔画像上でその代表部位の正しい位置（その代表部位の真ん中辺りの位置）にカーソルを移動させて、例えばマウスをクリックすることにより、修正位置を入力する。顔画像の右目と左目の上に表示されている黒丸３２２，３２３は、管理者により修正位置が入力されたことを示している。また、「鼻」のボタン３２７が黒く表示され、顔画像上に矢印３２４が表示されており、図３（Ｂ）の画面では、管理者が現在鼻の修正位置を入力する操作中であることを示している。

管理者は、全ての代表部位について修正位置を入力した後、「修正実行」のボタン３３０を選択することができる。すると、入力された修正位置が表示制御手段１４を介して再抽出手段１６に渡され、その修正位置を基に、再抽出手段１６が特徴点を再抽出する。また、管理者は、「取消」のボタン３２９を選択して、修正作業を中止することもできる。このとき、登録処理部１０は処理を中止する。なお、図３（Ｂ）には示していないが、例えば顔画像上の各代表部位の中心に印をつけたものをサンプルとして画面の端に表示し、管理者がそのサンプルを参考に操作できるようにしてもよい。

図３（Ｃ）は、顔データ修正画面の別の例である。図３（Ｃ）は、図３（Ａ）と同様に、画面左側の領域３３１上で、楕円形の教示情報３３２〜３３５が顔画像に重畳表示されている。このように、顔データ修正画面上でも教示情報を表示してもよい。また、図３（Ｂ）では全ての代表部位の修正位置が入力されるものとして説明したが、管理者は必要と判断した一部の代表部位だけを修正してもよい。例えば、図３（Ｃ）では、右目、左目および口の特徴点の位置は実際の部位の位置と合っていることが、教示情報３３２，３３３，３３５によりわかる。一方、鼻の特徴点の位置がずれていることが、教示情報３３４によりわかる。このため、管理者は、画面右側の「鼻」のボタン３２７を選択して、鼻の位置のみを修正してもよい。顔画像の鼻の上に表示されている黒丸３３６は、管理者により修正位置が入力されたことを示している。

登録手段１５は、管理者により特徴点の位置を確定する指示が入力されると、現在の特徴情報を登録対象に決定する。そのとき、登録手段１５は、登録される利用者について別途入力されているか、あるいは自動的に割り当てられる識別情報（ＩＤ番号）、名前および所属などの利用者情報と、顔画像と、決定された特徴情報とを、登録データとして記憶部２０に登録する。また、登録手段１５は、入出力部３０を介して登録データを認証端末に送信する。

再抽出手段１６は、顔画像上に教示され、操作部５０を介して管理者により指示された部位の修正位置に基づいて、顔画像から少なくともその部位に対応する特徴点を再抽出する。再抽出手段１６は、再抽出した特徴点の情報を生成手段１３に渡す。すると、生成手段１３は再抽出された特徴点を基に教示情報を生成し、表示制御手段１４は再び顔データ確認画面を表示部４０に表示させる。ただし、再抽出を１回行えば正しい位置の特徴点が得られると考えられるため、再抽出手段１６は、再抽出した特徴点の情報を登録手段１５に渡して、再抽出された特徴点を登録手段１５がそのまま登録してもよい。

再抽出手段１６による特徴点の抽出方法は、特徴抽出手段１２による特徴点の抽出方法と同じとする。ただし、再抽出手段１６は、管理者により指示された修正位置からの距離が近い位置ほどその修正位置が指示された部位に対応する特徴点が抽出され易くなるように、顔画像から特徴点を再抽出する。なお、再抽出手段１６は、特徴抽出手段１２とは異なる方法で特徴点を抽出してもよい。

具体的には、再抽出手段１６は、特徴抽出手段１２と同じテンプレートを用いて、顔画像上の特徴点の候補位置において、処理対象の顔画像の画像特徴と、上記の参照画像の画像特徴との相違度をテンプレートごとに求める。再抽出手段１６は、管理者により指示された修正位置と候補位置との距離ｄに応じた補正値Ｅを求め、上記の相違度に補正値Ｅを加算した値である評価値を求める。補正値Ｅは、距離ｄとともに大きくなる値とする。そして再抽出手段１６は、各テンプレートについての評価値の総和Ｓ’を算出する。再抽出手段１６は、顔画像上の各位置で評価値の総和Ｓ’を算出し、評価値の総和Ｓ’の値が最小となる位置を探索する。そして再抽出手段１６は、その最小となる位置を、対象となっている詳細部位を示す特徴点として抽出する。

再抽出手段１６が相違度に補正値Ｅを加算した評価値を用いるのは、管理者により指示された修正位置から遠い点の評価値を高くして、修正位置に近い点ほど特徴点として抽出され易くなるように重み付けをするためである。なお、再抽出手段１６は、相違度に補正値Ｅを加算して評価値を求めるのではなく、距離ｄに応じた補正係数αを求め、上記の相違度に補正係数αを掛けた値を評価値としてもよい。補正係数αも、距離ｄとともに大きくなる値とする。

また、再抽出手段１６は、修正位置からの距離ｄだけでなく方向を考慮して、補正値Ｅまたは補正係数αを求めるとなお好ましい。例えば、右目の位置が修正され右目の特徴点が再抽出される場合、「右目の目尻」は、「右目」の修正位置に対して左方向（すなわち顔の外側）の一定範囲内にある蓋然性が高いため、再抽出手段１６は、「右目の目尻」の位置を探索するときに、その左方向の一定範囲内における特徴点の候補位置について小さな値をとるように補正値Ｅまたは補正係数αを決めるとよい。このとき、逆の右方向の位置については、再抽出手段１６は補正値Ｅまたは補正係数αの値を高くしてもよい。

なお、再抽出手段１６は、顔の全ての特徴点を再抽出せずに、管理者により修正指示された部位に対応する特徴点だけを再抽出してもよい。

図４は、管理端末１による登録処理の動作例を示したフローチャートである。管理者の操作により登録処理の開始が指示されると、まず、入出力部３０を介して、顔検出手段１１は画像を取得する（ステップＳ１）。顔検出手段１１は、取得した画像から利用者の顔が写っている顔領域を検出し、その画像から顔領域に含まれる画素のみを切り出す（ステップＳ２）。顔検出手段１１は、切り出した画像を、特徴抽出手段１２に渡す。

特徴抽出手段１２は、顔画像から対象者の顔の各部位に対応する複数の特徴点を抽出する（ステップＳ３）。特徴抽出手段１２は、得られた特徴点の情報を記憶部２０に記憶するとともに生成手段１３に渡す。次に、生成手段１３は、抽出された特徴点の情報から代表部位の教示情報を生成する（ステップＳ４）。そして表示制御手段１４は、表示部４０に、生成された教示情報と顔画像とを重畳させて表示する（ステップＳ５）。

ここで、管理者が操作部５０を介して代表部位の位置を修正する指示を入力した場合（ステップＳ６でＹｅｓ）、再抽出手段１６は指示された修正位置に基づき特徴点を再抽出する（ステップＳ７）。その後、生成手段１３が教示情報を生成する処理（ステップＳ４）に戻る。一方、管理者が操作部５０を介して特徴点を確定する指示を入力した場合（ステップＳ６でＮｏ）、登録手段１５は、確定した特徴点の情報を登録データとして記憶部２０に登録する（ステップＳ８）。以上で、登録処理部１０の動作は終了する。

なお、再抽出手段１６による再抽出の処理（ステップＳ７）の後は、生成手段１３が教示情報を生成する処理（ステップＳ４）に戻らず、登録手段１５がそのまま特徴点の情報を登録する処理（ステップＳ８）に進んでもよい。

以上説明してきたように、管理端末１では、利用者の顔画像から特徴抽出手段１２が抽出した特徴点を表示部４０にそのまま表示するのではなく、生成手段１３が生成した教示情報を顔画像に重畳して表示する。このとき、目、鼻、口といった確認に適した代表部位についてのみ教示情報を表示する。これにより、特徴点の確認および修正の作業にかかる管理者の負担が軽減される。また、管理端末１では、教示情報が示すある部位の顔画像上における位置の修正が管理者により指示された場合に、再抽出手段１６が特徴点を再抽出する。これにより、顔画像上の位置が適切な特徴点が抽出される。

また、管理端末１が用いられる顔認証システムは、３次元化した顔データを利用する認証方式を採る顔認証システムでもよい。この場合、管理端末１は、上記の処理によって得られた特徴情報を、図示しない３Ｄ処理手段が顔データを３次元化するために用いてもよい。

この３Ｄ処理手段は、利用者の顔画像と、その画像から特徴抽出手段１２により抽出され必要に応じて修正された特徴情報とを基に、３次元モデルを用いて３次元の顔形状を推定し、３次元顔形状データを作成する。３次元モデルとは、登録人物の頭部を再現して様々な向きの顔画像を生成するためのモデルである。３Ｄ処理手段は、例えば、特開２０１１−２１０１１４号公報、特開２００９−２１１１４８号公報、特開２０１１−２１５８４３号公報などに記載されている、様々な公知の３次元モデル生成方法のいずれかを用いることができる。

そして３Ｄ処理手段は、真正面を向いた顔画像を中心に、例えば上下方向と左右方向にそれぞれ１５度刻みで±３０度まで向きを変えた５×５の２５方向から見た顔画像について、それぞれ特徴情報を記憶部２０に登録する。このときの特徴情報は、特徴抽出手段１２がそれぞれの顔画像から抽出したものである。

なお、３Ｄ処理手段は、基準方向（大抵は真正面を向いた顔画像）の特徴情報をベースとして、特徴抽出手段１２が抽出した特徴情報を３次元顔形状データに基づき変換させたものを、各方向の特徴情報としてもよい。また、３Ｄ処理手段は、２次元の顔画像から抽出された特徴情報を３次元顔形状データにより３次元座標系に変換したものを、登録される特徴情報としてもよい。また、基準方向の特徴情報だけを登録しておき、認証端末による照合時に、認証端末の処理部がその特徴情報に対して方向を回転させる変換を行って、照合用の特徴情報を生成してもよい。

次に、認証端末について説明する。認証端末は、照合時に撮影された画像から得られた照合対象者の顔の特徴情報と、管理端末１を用いて予め登録された利用者の顔の特徴情報（登録顔情報）とを照合して、照合対象者を認証するか否か判定する。認証端末は、例えば通行が規制されるゲートや自動ドアごとに設けられ、認証結果に応じてそれらのゲートや自動ドアなどを制御する。

図５は、本発明の一実施形態の顔認証システムにおける認証端末１００の概略構成図である。認証端末１００は、認証処理部１１０と、記憶部１２０と、入出力部１３０と、登録処理部１４０とを有する。認証端末１００では、撮像部２００により撮像された画像が、認証処理部１１０に入力される。

撮像部２００は、認証端末１００が運用される環境に応じて、照合対象者の顔を撮影できるように設置される。撮像部２００は、照合対象者の顔が写った画像を入力顔画像として生成する。そのために、撮像部２００は、例えば、ＣＣＤまたはＣＭＯＳといった固体撮像素子の２次元アレイ上に照合対象者の顔の像を結像する光学系を備えたカメラを有する。撮像部２００は、生成した入力顔画像を認証処理部１１０に出力する。

なお、撮像部２００は、入力顔画像として、カラーの多階調画像を作成するものであってもよく、または近赤外域に感度を有しグレー画像を作成するカメラであってもよい。また、撮像部２００が有する撮像素子アレイは、入力顔画像上に写っている顔の目、鼻、口などの特徴が区別できる程度の画素数を有することが好ましい。

認証処理部１１０は、１個または複数個のプロセッサおよびその周辺回路を有する。そして認証処理部１１０は、撮像部２００により入力された顔画像から照合対象者の顔の特徴情報（以下、入力顔情報という）を抽出し、入力顔情報を記憶部１２０に予め登録された利用者の登録顔情報と照合して、照合対象者を候補者として認証するか否か判定する。認証処理部１１０は、撮影画像から抽出された照合対象者の顔情報を登録顔情報と照合して、照合対象者が利用者であるか判定する認証手段の一例である。

記憶部１２０は、半導体メモリ、磁気記録媒体およびそのアクセス装置ならびに光記録媒体およびそのアクセス装置のうちの少なくとも１つを有する。記憶部２０は、認証端末１００を制御するためのコンピュータプログラム、各種パラメータおよびデータなどを記憶する。また、記憶部１２０は、各利用者の登録データを記憶する。記憶部１２０は、認証結果を認証記録データとして記憶する。

入出力部１３０は、例えば、自動ドア、通行ゲートまたは電気錠を制御する外部機器などに接続する通信インターフェースと、その制御回路とを有する。そして入出力部１３０は、認証処理部１１０から照合対象者についての認証成功を示す信号を受け取ると、接続された機器に例えば電気錠の解錠を要求する信号を出力する。あるいは、入出力部１３０は、撮像部２００の付近に設置され表示または音声などにより照合対象者に認証結果を通知する表示器などに、認証処理部１１０による認証結果を示す信号を出力してもよい。

また、認証端末１００は管理端末１に接続され、入出力部１３０を介して管理端末１から利用者の登録データを受信する。その際、管理端末１の登録手段１５は、管理者により入力された指示に応じて、利用者の登録データを認証端末に送信し、その登録データをその利用者の登録顔情報として記憶部１２０に記憶させる。これにより、利用者の顔の特徴情報が、登録顔情報として認証端末１００に登録される。また、ある利用者について記憶部１２０に記憶されている登録顔情報を修正する必要があるときも、管理端末１の登録手段１５は、管理者により入力された指示に応じて、利用者の登録データを認証端末に送信し、記憶部１２０に登録されている修正対象の利用者の登録顔情報を、その登録データで修正する。

次に、認証処理部１１０が有する各手段の機能について説明する。認証処理部１１０は、顔検出手段１１１と、特徴抽出手段１１２と、照合手段１１３と、認可手段１１４とを有する。認証処理部１１０のこれらの手段は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。なお、これらの手段は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成してもよい。

顔検出手段１１１は、管理端末１の顔検出手段１１と同様に、入力顔画像から照合対象者の顔が写っている顔領域を検出する。顔検出手段１１１は、例えば、入力顔画像から顔領域に含まれる画素のみを取り出した画像を、特徴抽出手段１１２に渡す。

特徴抽出手段１１２は、管理端末１の特徴抽出手段１２と同様に、入力顔画像の顔領域から入力顔情報を抽出する。特徴抽出手段１１２は、得られた入力顔情報を照合手段１１３に渡す。また、特徴抽出手段１１２は、入力顔情報を記憶部１２０に記憶する。

照合手段１１３は、照合対象者の入力顔情報を記憶部１２０に記憶されている各登録顔情報と照合して、入力顔情報と類似する登録顔情報に対応する利用者を、照合対象者と同一人物である可能性がある候補者として特定する。そのために、照合手段１１３は、まず、入力顔情報と、各登録顔情報とを比較することにより、利用者ごとに、利用者の顔と照合対象者の顔の類似度合いを表す類似度を算出する。

照合手段１１３は、例えば、入力顔情報と登録顔情報の間で、特徴抽出手段１１２が抽出した特徴点ごとに周囲の画像特徴を利用して個別の類似度を求め、その総和を全体の類似度として算出する。この場合、入力顔情報と登録顔情報の差が小さいほど、すなわち、照合対象者の顔と利用者の顔が類似しているほど、類似度の値は大きくなる。照合手段１１３は、他の公知の方法で、登録されている利用者の顔と照合対象者の顔の類似度合いを表す量を算出してもよい。

そして照合手段１１３は、算出した類似度の最大値を求め、例えばその最大値が閾値以上である場合に、その最大値をもつ登録顔情報が入力顔情報と類似すると判定する。照合手段１１３は、その類似する登録顔情報に対応する利用者を候補者として特定する。照合手段１１３は、候補者の識別情報を認可手段１１４に渡す。一方、照合手段１１３は、その最大値が閾値未満である場合は、候補者が存在しないことを認可手段１１４に通知する。

認可手段１１４は、照合対象者を、候補者として特定された利用者であるとして認証する。このとき認可手段１１４は、入出力部１３０を介して、例えば認証成功を示す信号として電気錠を解錠する信号を出力し、撮像部２００の付近に設置された表示器などに認証に成功したことを通知する。一方、照合手段１１３から候補者が存在しないことを通知された場合、認可手段１１４はその照合対象者を認証しない。このとき認可手段１１４は、入出力部１３０を介して、認証失敗を示す信号を出力する。

また、顔認証システムは、１つの入力顔画像により照合対象者を認証するものに限らず、例えば撮影時刻が異なる複数の入力顔画像を用いて最終的に照合対象者を認証するものでもよい。例えば、顔認証システムは、監視領域内を歩行する人物が複数の時点で撮影された複数の入力顔画像からその人物の顔領域の画像を抽出し、公知のトラッキング技術を適用することにより同一人物の顔が写っていると判断される顔領域同士について、顔領域の画像と予め登録された複数の登録顔画像のそれぞれとの類似度を時系列の順で算出し、それらの類似度を用いて監視領域内を歩行する人物を認証する顔認証装置（いわゆるウォークスルー型の顔認証装置）であってもよい。

その場合、顔認証システムは、例えば、ある利用者の顔情報と入力顔情報との類似度が利用者間で最大になった回数である１位ヒット数を、利用者ごとにカウントする。顔認証システムは、その照合対象者が写っている期間内における入力顔画像の枚数に対する１位ヒット数の割合である１位ヒット率を、利用者ごとに算出する。そして、ある利用者の１位ヒット率が閾値（例えば７割）以上になった場合に、顔認証システムは照合対象者をその利用者であると判定してもよい。あるいは、ある利用者の１位ヒット数が閾値となる回数（例えば７回）以上になった場合に、顔認証システムは照合対象者をその利用者であると判定してもよい。

１ 管理端末
１０ 登録処理部
１１ 顔検出手段
１２ 特徴抽出手段
１３ 生成手段
１４ 表示制御手段
１５ 登録手段
１６ 再抽出手段
２０ 記憶部
３０ 入出力部
４０ 表示部
５０ 操作部
１００ 認証端末
１１０ 認証処理部
１１１ 顔検出手段
１１２ 特徴抽出手段
１１３ 照合手段
１１４ 認可手段
１２０ 記憶部
１３０ 入出力部
２００ 撮像部

Claims (5)

1. 利用者の顔が写された顔画像から当該顔の各部位に対応する複数の特徴点を抽出する特徴抽出手段と、
   前記顔画像から抽出された前記複数の特徴点のうち少なくとも一つの部位に対応する特徴点の位置および当該特徴点が示す前記顔の部位に基づいて、当該特徴点の位置情報とは異なる情報として当該顔画像上における当該部位の位置または範囲を示す教示情報を生成し、当該教示情報を前記顔画像に重畳させて表示部に表示する教示処理手段と、
   操作部を介して指示された、前記顔画像上に教示された部位の修正位置に基づいて、前記顔画像から少なくとも当該部位に対応する特徴点を再抽出する再抽出手段と、
   を有することを特徴とする顔特徴抽出装置。
2. 前記再抽出手段は、前記修正位置からの距離が近い位置ほど当該修正位置が指示された部位に対応する特徴点が抽出され易くなるように、当該顔画像上での特徴点を再抽出する、請求項１に記載の顔特徴抽出装置。
3. 前記教示処理手段は、前記教示情報および前記顔画像とともに、前記操作部を介して前記各部位を示す項目を選択可能なように前記表示部に表示し、
   前記再抽出手段は、前記操作部を介して選択された前記項目に対応する部位について指示された修正位置に基づき、前記顔画像上での特徴点を再抽出する、請求項１または２に記載の顔特徴抽出装置。
4. 前記教示処理手段は、前記顔の各部位のうち予め定められた代表部位に関する教示情報を前記顔画像に重畳させて表示する、請求項１〜３の何れか一項に記載の顔特徴抽出装置。
5. 記憶手段と、
   利用者の顔が写された顔画像から当該顔の各部位に対応する複数の特徴点を抽出する特徴抽出手段と、
   前記顔画像から抽出された前記複数の特徴点のうち少なくとも一つの部位に対応する特徴点の位置および当該特徴点が示す前記顔の部位に基づいて、当該特徴点の位置情報とは異なる情報として当該顔画像上における当該部位の位置または範囲を示す教示情報を生成し、当該教示情報を前記顔画像に重畳させて表示部に表示する教示処理手段と、
   操作部を介して指示された、前記顔画像上に教示された部位の修正位置に基づいて、前記顔画像から少なくとも当該部位に対応する特徴点を再抽出する再抽出手段と、
   前記操作部を介して入力された指示に応じて、前記抽出または前記再抽出された複数の特徴点の情報を前記利用者の登録顔情報として前記記憶手段に記憶させる登録手段と、
   撮影画像から抽出された照合対象者の顔情報を前記登録顔情報と照合して、当該照合対象者が前記利用者であるか判定する認証手段と、
   を有することを特徴とする顔認証システム。

Images