JP5992276B2 - 人物認識装置、及び方法 - Google Patents

Description

本発明の実施形態は、人物認識装置、及び方法に関する。

従来から、監視カメラなどで撮像された動画像データに含まれる人物の顔領域から、予め記憶された顔画像の特徴情報に基づいて、人物を認識する技術が提案されている。この場合、動画像データに含まれている顔領域から特徴情報を抽出し、その抽出した特徴情報と予め記憶されている特徴情報との類似性を示す指標（類似度）が所定の閾値以上であるという条件を満たす場合に、予め登録された人物であるとの認識を行っている。

特開２００３−９９７８０号公報

ところで、類似性を示す指標をもとに予め登録された人物であるとの認識を行うための閾値は、監視カメラなどの設置場所ごとに照明環境の変動や人物の顔の撮影状態の変化があるため、本人拒否率（FRR:False Rejection Rate）や他人受入率（FAR:False Acceptance Rate）を運用上許容出来る範囲内とするように、設置位置ごとに随時設定する必要がある。しかしながら、上述した従来技術では、この閾値の設定を容易に行うことは困難であった。

上述した課題を解決するために、実施形態の人物認識装置は、カメラが撮像した画像データを入力する画像入力手段と、前記入力された画像データから人物の顔が表された顔領域を検出する顔検出手段と、前記検出された顔領域から前記人物の顔の特徴を示す顔特徴情報を抽出する顔特徴情報抽出手段と、人物毎に、当該人物の顔特徴情報を記憶する顔特徴情報記憶手段と、前記カメラで撮像された人物が予め登録された登録人物であるか否かの判定を行う運用モード、又は前記判定の際に用いる閾値を設定する設定モードを選択するモード選択手段と、前記運用モードが選択された場合、前記抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度が前記閾値以上である人物を、前記登録人物として判定する人物判定手段と、前記人物判定手段の判定結果を出力する出力手段と、前記設定モードが選択された場合、前記登録人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度、及び前記登録人物以外の人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度をもとに、前記閾値を設定する閾値設定手段と、を備え、前記モード選択手段は、前記設定モードにおいて、前記登録人物を前記カメラで撮像する登録者モード、又は前記登録人物以外の人物を前記カメラで撮像する未登録者モードを選択し、前記閾値設定手段は、前記登録者モードが選択された場合、前記登録人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度を複数取得して第１の類似度分布を生成し、前記未登録者モードが選択された場合、前記登録人物以外の人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度を複数取得して第２の類似度分布を生成し、前記第１及び第２の類似度分布をもとに、前記登録人物を前記人物判定手段が登録人物として判定しない拒否率、及び前記登録人物以外の人物を前記人物判定手段が登録人物として判定する受入率の少なくとも一方が予め設定された値となる前記閾値を設定する。

また、実施形態の方法は、人物認識装置で実行される方法であって、前記人物認識装置は、人物毎に、当該人物の顔特徴情報を記憶する顔特徴情報記憶手段を備え、画像入力手段が、カメラが撮像した画像データを入力するステップと、顔検出手段が、前記入力された画像データから人物の顔が表された顔領域を検出するステップと、顔特徴情報抽出手段が、前記検出された顔領域から前記人物の顔の特徴を示す顔特徴情報を抽出するステップと、モード選択手段が、前記カメラで撮像された人物が予め登録された登録人物であるか否かの判定を行う運用モード、又は前記判定の際に用いる閾値を設定する設定モードを選択するステップと、人物判定手段が、前記運用モードが選択された場合、前記抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度が前記閾値以上である人物を、前記登録人物として判定するステップと、出力手段が、前記人物判定手段の判定結果を出力するステップと、閾値設定手段が、前記設定モードが選択された場合、前記登録人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度、及び前記登録人物以外の人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度をもとに、前記閾値を設定するステップと、を含み、前記選択するステップは、さらに、前記設定モードにおいて、前記登録人物を前記カメラで撮像する登録者モード、又は前記登録人物以外の人物を前記カメラで撮像する未登録者モードを選択し、前記閾値を設定するステップは、前記登録者モードが選択された場合、前記登録人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度を複数取得して第１の類似度分布を生成し、前記未登録者モードが選択された場合、前記登録人物以外の人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度を複数取得して第２の類似度分布を生成し、前記第１及び第２の類似度分布をもとに、前記登録人物を前記人物判定手段が登録人物として判定しない拒否率、及び前記登録人物以外の人物を前記人物判定手段が登録人物として判定する受入率の少なくとも一方が予め設定された値となる前記閾値を設定する。

図１は、第１の実施形態にかかる人物認識装置の構成を示すブロック図である。 図２は、フレーム画像を例示する概念図である。 図３は、フレーム画像を例示する概念図である。 図４は、類似度分布を例示する図である。 図５は、類似度分布を例示する図である。 図６は、第２の実施形態にかかる人物認識装置の構成を示すブロック図である。 図７は、表示画面の一例を示す概念図である。 図８は、過去の入力画像の検索を例示する概念図である。 図９は、表示画面の一例を示す概念図である。 図１０は、第１、第２の実施形態にかかる人物認識装置のハードウエア構成を示したブロック図である。

以下、添付図面を参照して実施形態の人物認識装置及び方法を詳細に説明する。実施形態の人物認識装置及び方法は、街頭、建物、公共エリアなどに設置されている防犯カメラ（以下、カメラ）で撮影された映像の中から、人物の顔を検出および記録の用途を想定しており、人物の顔を検出する際に、特定の人物であるかどうかを判定する閾値の適切な値を容易に決定することができるようにしている。また、本実施形態では人物領域として顔の領域を検出して顔の特徴情報を利用することで課題を実現する手順を説明するが、顔以外にも人物領域全身を検出する技術（Watanabeら,”Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology” (PSIVT2009), pp. 37-47.）を利用し、その大きさを使うことでも実現が可能であり、人物の領域を検出する技術、またその人物領域内の特徴情報を計測する技術であれば本実施形態に記載した技術のみに限定される内容ではないことは明らかである。

（第１の実施形態）
図１は、第１の実施形態にかかる人物認識装置１００の構成を示すブロック図である。図１に示すように、人物認識装置１００は、入力部１０１と、顔検出部１０２と、顔特徴抽出部１０３と、顔特徴情報管理部１０４と、モード選択部１０５と、閾値設定部１０６と、人物判定部１０７と、出力部１０８とを備える。

入力部１０１は、カメラ１５０が撮像した画像データの入力を受け付ける。カメラ１５０は、所定の領域に対して撮影を行う。例えば、カメラ１５０は、通行路の入退場対象エリアに対して撮影を行う監視カメラ等であり、撮影結果である動画像データを生成する。そして、入力部１０１は、カメラ１５０からの動画像データを入力処理する。入力部１０１は入力された動画像データを顔検出部１０２へ出力する。

カメラ１５０は、少なくとも１箇所、又は複数の地点に設置可能とする。また、カメラ１５０は、所定の領域に存在する人物Ｈの顔画像を入力するものであり、例えばＩＴＶ（Industrial Television）カメラとする。カメラ１５０は、カメラのレンズを通して得られた光学的な情報をＡ／Ｄ変換器によりデジタル化して所定のフレームレートのフレーム画像データを生成し、人物認識装置１００に対して出力する。また、検索対象となるものは結果的にデジタルの人物画像データとなればよいので、入力部１０１は、デジタルスチルカメラで撮影した画像ファイルや動画ファイルを媒体経由で取り込んでもかまわない。

顔検出部１０２は、入力された画像データ（入力画像）から人物の顔が表された顔領域を検出する。具体的には、顔検出部１０２は入力画像内において、画像上の輝度情報を利用して顔の領域を示す座標を求める。ここでは文献（三田雄志ほか：「顔検出に適した共起に基づくＪｏｉｎｔ Ｈａａｒ−ｌｉｋｅ特徴」電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８９−Ｄ， ８，ｐｐ１７９１−１８０１（２００６））の方法を利用することによって実現となるため、本手法を利用することを前提とする。顔の向きや大きさにより検出された結果を示す情報は任意の形状でかまわないが、本実施形態では簡単にするために、顔領域を矩形情報で示すこととし、その角の座標を検出結果として利用することとする。その他に予め用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする方法、固有空間法や部分空間法を利用した顔抽出法などでも実現は可能である。

また、防犯カメラなどで撮影された映像の場合には検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定されるため、それらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この実現手段としてはオプティカルフローを使って検出した顔が次のフレームでどの位置にいるか対応付けする手法や、特許公報（特開２０１１−１７０７１１号公報）を利用することで実現可能であり、後述の顔特徴抽出部１０３では同一人物として対応付けられた複数フレームの顔領域の画像の中から検索をするのに適切な少なくとも１枚の画像を選択する方法や、最大で検出されたフレーム数までの任意の枚数の画像を利用することが可能となる。

顔特徴抽出部１０３は、顔検出部１０２により検出された顔領域から顔の特徴点を検出する。具体的には、顔特徴抽出部１０３は、検出された顔領域の部分の中から、目、鼻などの顔部位の位置を顔の特徴点として検出し、その情報を利用して顔の画像を傾きや大きさに関して一定の条件となるように正規化し、その正規化画像を利用して顔の個人性を示す顔特徴情報を計算する。なお、上述したように１名の歩行では同一人物として対応付けられて複数フレームの顔画像を取得することが可能であり、複数の顔画像の中から１フレームまたは複数フレームを使って類似性指標を計算するために画像を選択する際に、一般的には類似性指標（類似度）が高くなりやすい画像を優先して選択することによって登録した人物であるかどうかを判別する。類似性が高くなりやすい指標としては、顔の向きが正面に近い状態であることや、顔が大きく映っている、無表情に近い状態、目つぶりや横目状態ではない、顔の隠ぺい物がない、顔の影ができていないといった指標をもとに選択する方法がある。

顔の向きの推定については特開２００３−１４１５５１号公報（「顔向き計算方法及びその装置」 東芝・山田貢己；福井和広；牧淳人；中島朗子）に示されているように、顔の回転行列、顔の向き別に学習させた複数のクラス（部分空間）を利用して顔向きを推定することが可能である。これによって顔の角度がわかるため、顔の特徴点の一部が見えなくなるほど角度があるかどうかを推定することが可能である。顔の大きさは検出した顔画像のサイズをそのまま指標として利用できる。表情・目つぶり・横目・隠ぺい物の有無・影の有無の判別については、いずれも該当する顔画像を多数集め、理想的な状態かそうでないかを分類して該当クラスの平均画像、非該当クラスの平均画像をつくって入力された画像がどちらに近いか相関値の計算をすることやＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅといった判別技術で判別することが可能である。これらの指標を重みづけ加算するなどして照合に適切なフレームを優先的に選択することが可能である。また、事前にすべてのフレームの顔画像と該当する人物の登録された顔特徴情報との類似性指標をもとめておき、重み付き線形和の式の係数を線形回帰で求めることによってどの指標が類似性指標に影響を与えるかの重みを計算させることで、より精度高く適切なフレームを選択することが可能となる。

顔の目や鼻といった点を顔特徴点として検出する方法としては、文献（福井和広、山口修：「形状抽出とパタン照合の組合せによる顔特徴点抽出」， 電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法で実現可能である。また、顔特徴点をもとに顔画像を正規化する処理として、文献（東芝（小坂谷達夫）：「画像認識装置、方法およびプログラム」特開２００７−４７６７号公報）にあるように顔の平均３次元モデルを利用して顔の向きや状態を意図的に変動させた画像を作成することによって向きを任意の方向に補正した画像を作成する手法を適用してもよい。この場合、前述の福井らの方法ではなく検出する顔特徴点の数を増やすことにより正規化の精度を高めることが可能となる。

正規化された画像から個人の特徴を示す顔特徴情報を抽出する方法として、文献（東芝（小坂谷達夫）：「画像認識装置、方法およびプログラム」特開２００７−４７６７号公報）にあるように１枚の人物画像情報に対してモデルを利用して顔の向きや状態を意図的に変動させた画像を作成することにより顔特徴情報を取得することが可能となる。一方で同一人物に対して連続した複数の画像を利用した動画像による計算をすることでより精度の高い認識処理が行うこともできる。具体的には文献（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」電子情報通信学会研究報告ＰＲＭＵ，ｖｏｌ９７，Ｎｏ．１１３，ｐｐ１７−２４（１９９７）にある相互部分空間法を用いる方法で説明する。入力部１０１から連続して得られた画像から顔検出部１０２と同様にｍ×ｎピクセルの画像を切り出しこれらのデータを特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃｄ ＝Φｄ Λｄ Φｄ Ｔ と対角化して、固有ベクトルの行列Φを求める。この情報が現在認識対象としている人物の顔の特徴を示す部分空間となる。このような方法で出力された部分空間のような特徴情報を入力された画像で検出された顔に対する個人の特徴情報とする。

顔特徴情報管理部１０４は、後述の人物判定部１０７で類似性指標を計算するときに利用する対象となるデータベースであり、検索対象となる個人ごとに顔特徴抽出部１０３で出力された顔特徴情報を人物ごとに管理する。利用者が結果をみてわかりやすいように、各顔特徴情報に対応付けて、顔画像や名前、性別や年齢、身長など該当する人物に関する付随した情報を対応付けて管理することも可能である。顔特徴情報として実際に管理する内容は顔特徴抽出部１０３で出力されたデータそのものでよく、ｍ×ｎの特徴ベクトルや、部分空間やＫＬ展開を行う直前の相関行列でも構わない。

モード選択部１０５では、運用モードと調整モード（設定モード）を切り替える手段をもつ。具体的には、システムの管理者が利用できる設定画面をもち、調整モードと運用モードの２つのモードのどちらかを選択する画面と、ユーザの操作を受け付ける操作キーなどを準備すれば実現が可能である。ここで、運用モードは、カメラ１５０で撮像された人物が予め顔特徴情報管理部１０４に登録された登録人物であるか否かの判定を行う動作モードである。また、調整モードは、運用モードで判定を行う際に用いる閾値を設定する動作モードである。人物認識装置１００では、モード選択部１０５によって設定されたモードにあわせ、入力された画像に対して顔特徴抽出部１０３で得られた顔特徴情報に対し、運用モードでは人物判定部１０７の処理を実行し、調整モードでは閾値設定部１０６の処理を実行するように切り替えを行う。

なお、調整モードにおいては、顔特徴情報管理部１０４の登録人物をカメラ１５０で撮像する登録者歩行モード、又は登録人物以外の人物をカメラ１５０で撮像する未登録者歩行モードをさらに指定することが可能である。登録者歩行モードで画像を入力した場合には入力画像に対し登録人物のいずれかの顔特徴情報との類似性指標が高い類似性を示すべきデータとして扱い、未登録者歩行モードで画像を入力した場合には登録人物のいずれの顔特徴情報との類似性指標も低くあるべきデータとして取り扱う（詳細は後述する）。

閾値設定部１０６は、顔特徴情報管理部１０４の登録人物をカメラ１５０で撮像して検出された顔の特徴点と、顔特徴情報管理部１０４に記憶された顔特徴情報に表された特徴点との類似度、及び顔特徴情報管理部１０４の登録人物以外の人物をカメラ１５０で撮像して検出された顔の特徴点と、顔特徴情報管理部１０４に記憶された顔特徴情報に表された特徴点との類似度をもとに、人物判定部１０７での判定に用いる閾値を設定する。具体的には、閾値設定部１０６は、調整モードにおいて顔特徴抽出部１０３で取得された顔特徴情報と顔特徴情報管理部１０４で保持している顔特徴情報との比較を行った結果から得られた類似性指標を登録者歩行モード、未登録者歩行モードそれぞれで類似度分布を管理し、得られた類似度分布をもとに閾値を決定する。

より具体的には、モード選択部１０５が登録者歩行モードに設定した状態において、登録人物がカメラ１５０に映るように歩行をすることで、登録人物が歩行した場合の画像を入力部１０１から入力し、顔特徴情報と顔特徴情報管理部１０４で保持される顔特徴情報との類似性を示す指標を計算して得られた登録人物の類似度分布として管理する。この場合、登録者がＮ名いた場合に、実際に歩行した人物に対応する顔特徴情報との類似性指標は高い値を示すが、残りのＮ−１名の顔特徴情報との類似性指標は低い値を示す。そのため、類似度分布として管理するのはもっとも高い類似性指標となった１つのみを管理すればよい。また、顔特徴情報管理部１０４で管理される顔特徴情報は１名に対して１つの場合もあれば２以上の複数の顔特徴情報が管理されている場合もあるため、最も高い類似性指標となった１つのみではなく、上位Ｍ個（Ｍ≦Ｎ）としてもよいし、上位から所定の割合の類似性指標でもよいし、所定の閾値以上となる類似性指標となったものという基準でもよい。

なお、上述したように、１名の歩行で得られた複数フレームの顔画像の中から、類似性指標を計算する際に利用する画像を選択する。通常の運用モードにおいては、もっとも類似性指標が高くなるものを選択するようにすればよいが、調整モードでは登録者歩行モードと未登録者歩行モードを運用モードと同一の基準で選択してもよいし、より少ない調整時間で閾値を判定できるように登録者歩行モードと未登録者歩行モードで異なる基準で画像を選択するようにしてもよい。閾値を決めるときには「未登録者の歩いた中で最も高い類似性指標」よりも「登録者の歩いた中で最も低い類似性指標」が高くなっていればその２つの指標の間にしきい値を設定すればよいため、未登録者歩行モードでは類似性指標が最も高くなる条件で画像を選択するのに対し、登録者歩行モードでは複数フレームの中から最も類似性指標が低くなるフレームを選択することで容易に該当する基準を調査することができる。

図２は、フレーム画像Ｆｒ１〜Ｆｒ５を例示する概念図である。例えば、図２に示すように、登録者歩行モードについては顔が正面を向いているフレーム画像を選択する優先度を下げ（選択結果が“×”となっている）、できる限り理想的ではない状態（選択結果が“○”となっているフレーム画像Ｆｒ３）を優先的に選択する。

図３は、フレーム画像Ｆｒ１１〜Ｆｒ１５を例示する概念図である。逆に未登録者歩行モードにおいては、基準を逆にして、図３のようにフレーム画像Ｆｒ１１やフレーム画像Ｆｒ１５のような理想的な状態のフレームを優先的に選択する。選択する具体的な方法としては、低い方から所定フレームを選ぶ、低い方から所定の割合でフレームを選ぶ、所定の類似性指標の基準値を定めて、その値を下回るフレームを選ぶといった方法が考えられる。なお、顔特徴点の検出が失敗するなど、閾値の計算をするのに不適切な画像が入ってしまう可能性もあるため、はずれ値として一番低い方から所定フレーム数・所定の割合を除外する、または所定しきい値未満は除外するといった処理と組み合わせてもよい。

図４、図５は、類似度分布２０１、２０２を例示する図である。ここで、類似度分布２０１は、未登録者歩行モードが選択された場合、登録人物以外の人物をカメラ１５０で撮像して検出された顔の特徴点と、顔特徴情報管理部１０４の顔特徴情報に表された特徴点との類似度を複数取得して閾値設定部１０６が生成した頻度分布である。また、類似度分布２０２は、登録者歩行モードが選択された場合、登録人物をカメラ１５０で撮像して検出された顔の特徴点と、顔特徴情報管理部１０４の顔特徴情報に表された特徴点との類似度を複数取得して閾値設定部１０６が生成した頻度分布である。

図４、５に示すように、登録者および未登録者の類似性指標の分布を頻度分布にすると、類似度分布２０１、２０２のようになる。ここで、閾値設定部１０６は、類似度分布２０１、２０２を用いて、人物の検索結果の誤りを示す以下の２つの指標を求める。

本人拒否率（未検知率） ＝ 登録者が通行した場合に閾値ＴＨ未満となる件数／登録者の全歩行数 ・・・（式１）
他人受入率（誤報率） ＝ 未登録者が通行した場合に閾値ＴＨ以上となる件数／未登録者の全歩行数 ・・・（式２）

ここで、未検知率は登録者全体の通行に対する「未検知」の割合となり、図４の本人拒否部分２０３に該当する。逆に、誤報率は未登録者全体の通告に対する「誤報」の割合となり、図５の他人受入部分２０４に該当する。閾値ＴＨを高くすればするほど誤報率は下がるが未検知率が高くなり、閾値ＴＨを低くすればするほどその逆となる。事前にいずれかの指標が所定の割合以下となるように設定をしておくことによって、入力部１０１で撮影される撮影条件において適切な閾値ＴＨを簡単に設定することが可能となる。

人物判定部１０７は、顔特徴抽出部１０３で得られた入力画像の顔特徴情報と、対応する顔特徴情報管理部１０４中の顔特徴情報との類似性指標の計算を行ってより類似性の高いものから順番に結果を返す処理を行う。なお、人物判定部１０７が類似性指標の計算により登録人物の判定を行う閾値は、閾値設定部１０６により設定された閾値である。また、上述したように、所定の属性情報に絞り込んで顔特徴情報管理部１０４を一部分だけ検索するといったことも可能である。

この際に、検索処理の結果としては類似性の高いものから順番に顔特徴情報管理部１０４内で個人を識別するために管理されている人物ＩＤ、計算結果である類似性を示す指標を返す。それに加えて、顔特徴情報管理部１０４で個人ごとに管理されている情報を一緒に返すようにしてもかまわないが、基本的に人物ＩＤにより対応付けが可能であるので検索処理自体では付属情報をやりとりすることはなくても実現が可能となる。類似性指標としては顔特徴情報として管理されている部分空間同士の類似度とする。計算方法は、部分空間法や複合類似度法などの方法を用いてよい。この方法では、予め蓄えられた登録情報の中の認識データも、入力されるデータも複数の画像から計算される部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力手段分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、Ｃｉｎ＝ΦｉｎΛｉｎΦｉｎＴ と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ，Φｄ で表される部分空間の部分空間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。具体的な計算方法については顔特徴抽出部１０３で紹介した文献（福井）で実現が可能である。また、あらかじめ同一人物と分かる複数の人物画像をまとめて部分空間への射影によって本人であるかどうかを識別することで精度を向上させることも可能である。また類似度以外の類似性指標としては特徴空間上での距離やマハラノビス距離といったものも利用可能であることは明らかである。距離を利用した場合には数値が大きいほど類似性が低くなるため、閾値との比較方法としては閾値より小さければ小さいほど登録された人物との類似性が高いことを示す。

出力部１０８は、人物判定部１０７で得られた結果を画面に表示する。または人物判定部１０７で得られた画像や映像を記録装置に記録する。または接続された機器に人物判定部１０７の処理結果を送信するといったことも実現が可能である。人物判定部１０７で複数の結果が出力された場合には、あらかじめ定めておいた順番で結果を表示や記録を行ってもよいし、顔部位の信頼度（類似度）の合計値が高い画像から順に画面に表示するといったことも可能である。複数の候補を見せることによって人間の目視確認で目的の画像が含まれている可能性を高めることが可能となる。

なお、実際の装置の設置調整時には必ずしも通常の運用で使う登録者がその場にいるわけではないが、その場にいる人物の顔画像を仮に登録をして歩行を行うことで同様の効果があるため問題にはならない。また、本実施形態が想定するのは、人物認識装置１００の設置調整時に保守員などが仮登録して歩行をして試すといった運用が典型的な例となるが、屋外の照明の影響がある場合には定期的に同様の作業を行って調整を進めることで精度を高めることも可能であるほか、運用モードで得られた映像や顔特徴情報を履歴として記憶しておき、後から再度調整モードとして入力しなおすようにしてもよい。

以上の第１の実施形態により、カメラ１５０などで撮影された映像の中から、人物の顔を検出および記録をするシステム、または検出した人物画像を利用して特定の人物であるか判定するシステムにおいて、特定の人物であるかどうかを判定する閾値の適切な値を容易に設定することが可能となる。

（第２の実施形態）
図６は、第２の実施形態にかかる人物認識装置１００ａの構成を示すブロック図である。なお、人物認識装置１００ａにおいて、人物認識装置１００と同じ構成については同一の符号を付してその説明を省略する。

履歴管理部１１０は、入力された画像、顔検出部１０２で得られた顔領域の座標、顔の座標をもとに顔付近のみを切り出した切出し顔画像、その時の時刻、および人物判定部１０７から得られた検索結果の少なくとも１つを履歴情報として保存する。これにより、履歴管理部１１０を参照することで、どのような画像が入力されてどのような検索結果であったかがわかる。また、後述の出入力部１０８ａにおいて過去の履歴との対応付けをできるように、顔特徴抽出部１０３で求められた顔の特徴情報を入力画像に対応付けて管理することもできる。記録した履歴については所定の件数まで記録したら記録を止めてもよいし、所定の件数をすぎたら古いものから消して新しいものにおきかえていくようにしてもよい。この内容については所定の検索条件を入れることで検索した結果を出力することも可能とする。

出入力部１０８ａは、表示装置、及びユーザからの操作入力を受け付ける操作装置（タッチパネル、キーボード、ポインティングデバイスなど）であり、運用モードが選択された場合に人物判定部１０７の判定結果を画面に表示する。また、出入力部１０８ａは、判定結果を画面に出力した際に、少なくとも判定結果の正否を示す評価をユーザより受け付ける。

図７は、表示画面Ｇの一例を示す概念図である。図７に示すように、出入力部１０８ａは、入力画像（とくに顔検出部１０２によって顔領域付近を切り出したものが望ましい）Ｇ１と、人物判定部１０７で入力画像に映っている人物に類似したと判断された類似性指標の高い順に、候補者の顔画像Ｇ１１〜Ｇ１３を表示している。候補者については、顔特徴情報管理部１０４で顔の特徴情報に対応付けて登録したときの顔画像を管理しておくことにより、候補者の顔画像Ｇ１１〜Ｇ１３を並べて表示し、比較することができる。

この際、所定の閾値以上の類似性指標の候補者がいた場合には「登録者である」と判断した判定結果Ｇ２を表示して、アラームを出す、外部接続機器への信号を送る（たとえば警告灯の電源ＯＮの信号、映像記録装置へのトリガ入力など）といったことが行える。また、閾値以上となった場合のみ、図７に示す表示画面Ｇを表示するようにしてもよい。一方、顔特徴情報管理部１０４に管理されたＮ名の登録者に対する類似性指標がいずれも閾値未満だった場合には、入力画像Ｇ１内の人物は「未登録者」として判断する。ただし、ここで誤った結果が出た場合には精度が下がる方向になってしまうことから、出入力部１０８ａにおいて人間の目視によって判断した結果をフィードバックするため、少なくとも判定結果の正否を示す評価をユーザより受け付ける。

例えば人物判定部１０７の結果で登録人物であると判断された場合でも、図７にあるように「検索結果補正」のためのボタンＧ３をつくっておき、管理者が目視判断した結果を入力してあげることが可能となる。人物認識装置１００ａは、通報した結果が正しい結果であれば「登録人物」のボタンＧ４を押すことでその結果が正しいと学習し、「未登録者」のボタンＧ５を押せば、この判定結果Ｇ２は誤報であると判断する。管理者が毎回入力する必要がないように、所定時間でボタン入力がなければ自動的に表示画面Ｇを消すようにしてもよいし、次の通知がきたら消すというようにしてもよい。「登録人物」のボタンＧ４については、ボタンを押した後にさらに登録者の候補、類似性指標、登録者の識別情報（ＩＤ番号や名前など顔特徴情報管理手段で管理された付随情報）を一覧表示し、「登録者であること」以外に「どの人物であるか」まで細かい情報をいれてもよい。ここで管理者が入力した情報（評価）は閾値調整部１１１に通知される。

また、ここで入力をした場合に、過去の履歴にさかのぼって同一人物の候補をリストアップして表示するようにすることも可能となる。

図８は、過去の入力画像の検索を例示する概念図である。図８に示すように、履歴管理部１１０に管理されている過去の入力画像Ｇ２１〜Ｇ２３に対し、今回入力された入力画像Ｇ４１との類似度（性）指標を求める。図８の場合では、入力画像Ｇ２１〜Ｇ２３と今回の入力画像Ｇ４１との類似度指標を求め、それぞれの類似度指標で閾値以上となったものがあれば今回通行した人物と同一人物が過去に通行したと考えられる。ここで、Ｇ３１〜Ｇ３３は入力画像Ｇ２１〜Ｇ２３の過去の検索結果であり、Ｇ５１は入力画像Ｇ４１の検索結果である。この場合では、入力画像Ｇ２２が今回の入力画像との類似性指標が高いと判定（ＨＩＴ）されたため、今回の通行者と同一の人物が過去に通行していたと対応付けすることができる。同様に過去の入力履歴をさかのぼって閾値以上となったものを抽出し、一覧として表示する。

図９は、表示画面Ｇの一例を示す概念図であり、より具体的には、上述した一覧を表示した表示画面Ｇを例示する図である。出入力部１０８ａで今回の検索結果を通常表示する表示画面Ｇ（図７参照）に対し、図９に示すように、今回の検索結果である入力画像Ｇ４１、履歴情報Ｇ６１、検索結果Ｇ５１の他に、過去の同一人物の通行履歴（図示例では履歴情報Ｇ６２、Ｇ６３）とその検索結果（図示例では入力画像Ｇ２２、Ｇ２４とその検索結果Ｇ３２、Ｇ３４）を一覧表示する表示画面Ｇを表示することで確認するステップをもってもよい。

この表示画面Ｇにおいて、仮に間違った結果が表示されている場合には、それぞれの入力画像Ｇ２２、Ｇ２４の横にチェックボックスＧ７２、Ｇ７３をつけておくなどしてまとめて削除をできるようにしてもよい。削除をした場合には閾値調整部１１１に結果を通知しないようにすることで誤った結果を除外することができる。

この結果、表示画面Ｇで検索結果が出力された場合に、管理者が操作して「登録人物」「未登録人物」を押した結果を利用して閾値調整登録者が通行した場合の類似度、未登録者が通行した場合の類似度を出力することが可能となる。また、過去の通行履歴とのチェックを行った結果を利用すれば、管理者がオペレーションしたときの通行のみならず、過去の通行も対応付けすることで過去の通行者の画像に対しても「登録人物」「未登録人物」を分離して類似度分布を閾値調整部１１１に通知することが可能となる。過去の入力履歴とのマッチングで得られた一覧の表示画面Ｇは表示しなくても、表示しても同様の効果を得ることができるが、誤った結果が混じるなどの補正をチェックボックスＧ７２、Ｇ７３ですることにより、より精度を高めることが可能となる。

閾値調整部１１１は、出入力部１０８ａより通知された情報（評価）をもとに、第１の実施形態の閾値設定部１０６と同様に、登録者の類似度分布、未登録者の類似度分布を管理し、誤報率または未検知率が所定の値となるように閾値を調整する。閾値の調整は、出入力部１０８ａにおいて管理者のオペレーションがあった場合に随時調整をしてもよいし、所定のオペレーション回数ごとに間隔をおいて調整してもよいし、調整をするときに管理者から任意のタイミングで調整できるようにしてもよい。調整する閾値については調整後の値を表示して管理者に確認させてもよく、管理者が手動で再調整するようにしてもよい。

なお、誤報が発生した場合には出入力部１０８ａに通知が出るために本実施形態により調整することが可能であるが、登録者が通行したときに通知できなかった未検知について調整することはできないので、閾値の決定をする際には、できる限り未検知がなくなるように調整するようにしてもよい。また、出入力部１０８ａにおいて閾値以上の時のみ出力をするのではなく、閾値未満の時でも表示するようにすることで未検知の場合にも対応することができる。その場合は出力した画面において閾値未満だった場合に「登録人物」であるボタンＧ４を押せばよいのは明らかである。

上述した第２の実施形態により、カメラ１５０などで撮影された映像の中から、検出した人物画像を利用して特定の人物であるか判定、または類似した顔を検索するシステムにおいて、特定の人物であるかどうかを判定する閾値の適切な値を容易に設定し、運用を進めながらより適した閾値に調整することができる。

図１０は、第１、第２の実施形態にかかる人物認識装置１００、１００ａのハードウエア構成を示したブロック図である。図１０に示すように、人物認識装置１００、１００ａは、ＣＰＵ１１０１と、ＲＯＭ（Read Only Memory）１１０２と、ＲＡＭ（Random Access Memory）１１０３と、通信Ｉ／Ｆ１１０４と、ＨＤＤ１１０５と、表示装置１１０６と、キーボードやマウスなどの入力デバイス１１０７と、これらを接続するバス１１０８と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施形態の人物認識装置１００、１００ａで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の人物認識装置１００、１００ａで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の人物認識装置１００、１００ａで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の人物認識装置１００、１００ａで実行されるプログラムは、上述した各構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１１０１が上記記憶媒体からプログラムを読み出して実行することにより上記各構成がＲＡＭ１１０３上にロードされ、上記各構成がＲＡＭ１１０３上に生成される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、１００ａ…人物認識装置、１０１…入力部、１０２…顔検出部、１０３…顔特徴抽出部、１０４…顔特徴情報管理部、１０５…モード選択部、１０６…閾値設定部、１０７…人物判定部、１０８…出力部、１０８ａ…出入力部、１１０…履歴管理部、１１１…閾値調整部、１５０…カメラ、２０１、２０２…類似度分布、２０３…本人拒否部分、２０４…他人受入部分、Ｆｒ１〜Ｆｒ１５…フレーム画像、Ｇ…表示画面、Ｇ１…入力画像、Ｇ２…判定結果、Ｇ３〜Ｇ５…ボタン、Ｇ１１〜Ｇ１３…顔画像、Ｇ２１〜Ｇ２４、Ｇ４１…入力画像、Ｇ３１〜Ｇ３４、Ｇ５１…検索結果、Ｇ６１〜Ｇ６３…履歴情報、Ｇ７２、Ｇ７３…チェックボックス、Ｈ…人物、ＴＨ…閾値、１１０１…ＣＰＵ、１１０２…ＲＯＭ、１１０３…ＲＡＭ、１１０４…通信Ｉ／Ｆ、１１０５…ＨＤＤ、１１０６…表示装置、１１０７…入力デバイス、１１０８…バス

Claims (8)

1. カメラが撮像した画像データを入力する画像入力手段と、
   前記入力された画像データから人物の顔が表された顔領域を検出する顔検出手段と、
   前記検出された顔領域から前記人物の顔の特徴を示す顔特徴情報を抽出する顔特徴情報抽出手段と、
   人物毎に、当該人物の顔特徴情報を記憶する顔特徴情報記憶手段と、
   前記カメラで撮像された人物が予め登録された登録人物であるか否かの判定を行う運用モード、又は前記判定の際に用いる閾値を設定する設定モードを選択するモード選択手段と、
   前記運用モードが選択された場合、前記抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度が前記閾値以上である人物を、前記登録人物として判定する人物判定手段と、
   前記人物判定手段の判定結果を出力する出力手段と、
   前記設定モードが選択された場合、前記登録人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度、及び前記登録人物以外の人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度をもとに、前記閾値を設定する閾値設定手段と、を備え、
   前記モード選択手段は、前記設定モードにおいて、前記登録人物を前記カメラで撮像する登録者モード、又は前記登録人物以外の人物を前記カメラで撮像する未登録者モードを選択し、
   前記閾値設定手段は、前記登録者モードが選択された場合、前記登録人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度を複数取得して第１の類似度分布を生成し、前記未登録者モードが選択された場合、前記登録人物以外の人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度を複数取得して第２の類似度分布を生成し、前記第１及び第２の類似度分布をもとに、前記登録人物を前記人物判定手段が登録人物として判定しない拒否率、及び前記登録人物以外の人物を前記人物判定手段が登録人物として判定する受入率の少なくとも一方が予め設定された値となる前記閾値を設定する、
   人物認識装置。
2. 前記閾値設定手段は、前記登録者モードが選択された場合、前記登録人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度を複数取得した中から低い値の類似度を選択して前記第１の類似度分布を生成する、
   請求項１に記載の人物認識装置。
3. 前記閾値設定手段は、前記未登録者モードが選択された場合、前記登録人物以外の人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度を複数取得した中から高い値の類似度を選択して前記第２の類似度分布を生成する、
   請求項１又は２に記載の人物認識装置。
4. 前記閾値設定手段は、前記登録者モードが選択された場合、前記登録人物を前記カメラで撮像したフレーム画像の中から前記類似度が低くなりやすいフレーム画像を複数選択し、当該複数選択されたフレーム画像から抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度をもとに前記第１の類似度分布を生成する、
   請求項１乃至３のいずれか一項に記載の人物認識装置。
5. 前記閾値設定手段は、前記未登録者モードが選択された場合、前記登録人物を前記カメラで撮像したフレーム画像の中から前記類似度が高くなりやすいフレーム画像を複数選択し、当該複数選択されたフレーム画像から抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度をもとに前記第２の類似度分布を生成する、
   請求項１乃至４のいずれか一項に記載の人物認識装置。
6. 前記運用モードが選択された場合に前記出力手段が前記判定結果を出力した際に、少なくとも前記判定結果の正否を示す評価をユーザより受け付ける入力手段と、
   前記受け付けられた評価をもとに前記閾値を調整する閾値調整手段と、を更に備える、
   請求項１乃至５のいずれか一項に記載の人物認識装置。
7. 前記運用モードが選択された場合に前記出力手段が出力した前記判定結果の履歴を記憶する履歴記憶手段を更に備え、
   前記入力手段は、前記記憶された判定結果の履歴について正否を示す評価をユーザより受け付け、
   前記閾値調整手段は、前記記憶された判定結果の履歴について前記受け付けられた評価をもとに前記閾値を調整する、
   請求項６に記載の人物認識装置。
8. 人物認識装置で実行される方法であって、
   前記人物認識装置は、人物毎に、当該人物の顔特徴情報を記憶する顔特徴情報記憶手段を備え、
   画像入力手段が、カメラが撮像した画像データを入力するステップと、
   顔検出手段が、前記入力された画像データから人物の顔が表された顔領域を検出するステップと、
   顔特徴情報抽出手段が、前記検出された顔領域から前記人物の顔の特徴を示す顔特徴情報を抽出するステップと、
   モード選択手段が、前記カメラで撮像された人物が予め登録された登録人物であるか否かの判定を行う運用モード、又は前記判定の際に用いる閾値を設定する設定モードを選択するステップと、
   人物判定手段が、前記運用モードが選択された場合、前記抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度が前記閾値以上である人物を、前記登録人物として判定するステップと、
   出力手段が、前記人物判定手段の判定結果を出力するステップと、
   閾値設定手段が、前記設定モードが選択された場合、前記登録人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度、及び前記登録人物以外の人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度をもとに、前記閾値を設定するステップと、を含み、
   前記選択するステップは、さらに、前記設定モードにおいて、前記登録人物を前記カメラで撮像する登録者モード、又は前記登録人物以外の人物を前記カメラで撮像する未登録者モードを選択し、
   前記閾値を設定するステップは、前記登録者モードが選択された場合、前記登録人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度を複数取得して第１の類似度分布を生成し、前記未登録者モードが選択された場合、前記登録人物以外の人物を前記カメラで撮像して抽出された顔特徴情報と、前記記憶された顔特徴情報との類似度を複数取得して第２の類似度分布を生成し、前記第１及び第２の類似度分布をもとに、前記登録人物を前記人物判定手段が登録人物として判定しない拒否率、及び前記登録人物以外の人物を前記人物判定手段が登録人物として判定する受入率の少なくとも一方が予め設定された値となる前記閾値を設定する、
   方法。

Images