JP6563221B2 - 人物認証装置及び人物認証方法 - Google Patents

Description

この発明は、あらかじめ登録された認証対象者に係る複数の登録画像データを所定の撮像装置により撮像された人物に係る一又は複数の入力画像データと照合処理して、該人物が前記認証対象者と同一人であるか否かを認証する人物認証装置及び人物認証方法に関する。

従来、人物を撮像した画像データを用いて人物の認証処理を行う画像認証装置が知られている。例えば、特許文献１には、顔など本人の身体の所定の部位を取り込んだ入力画像データのサンプル点における局所的な特徴量と該部位に関する本人及び他人の複数の登録画像データの特徴量とを比較して本人確認を行う画像認識装置が開示されている。

ところが、この特許文献１に代表される従来技術では、人物の顔をある一定以上の解像度（目の間に４５画素以上）で撮像できることが条件となるため、人物の良好な顔画像データを取得できない状況では適用することができない。

このため、人物の良好な顔画像データを取得できない状況であっても、人物の全身像を用いて人物の認証を行う人物同定装置が知られている。例えば、特許文献２には、人の歩幅、歩調、歩速、身長、体の傾き、脚長、肥満度及び性別を特徴量として、時系列に得られる画像データ群に含まれる人物が同一人物であるか他人であるかを判定する人物同定装置が開示されている。この特許文献２によれば、人の行動を用いて人物を同定するため、良好な顔画像データを取得できない状況であっても、人の歩幅等を算定することができれば人物を特定することができる。

特許第４１８７４９４号公報 特開２０１０−２３９９９２号公報

しかしながら、上記特許文献２のものは、画像データを用いて人物の歩幅等を算定できることが条件となるため、該画像データから人物の歩幅等を算定できない場合には適用することができないという問題がある。

加えて、この特許文献２のものは、上記特許文献１と同様に、監視カメラ等の撮像装置が固定的に設置される場合を前提としているため、認証対象者自身が撮像装置の配設されていない領域や該撮像装置の死角に所在する場合には、該認証対象者の認証を行うことができないという問題がある。

このように、上記特許文献２のものは、固定的に設置された監視カメラ等の撮像装置によって撮像された画像データから人物の歩幅等を算定できない場合には、適用することができないという大きな制約がある。

このため、遊園地やデパート等の施設内で迷子を探すような状況において、迷子が撮像装置の配設されていない領域や該撮像装置の死角に所在する場合には、迷子を見つけることができない結果となる。また、仮に、撮像装置で撮像した画像データ内に迷子が映り込んでいたとしても、この画像データを用いて迷子の歩幅等を算定できないと、やはり迷子を見つけることができない結果となる。

これらのことから、ある領域内に所在する人物が認証対象者であるか否かを迅速かつ効率的に認証することができる人物認証装置及び人物認証方法いかにして実現するかが重要な課題となっている。

本発明は、上記従来技術の課題を解消するためになされたものであって、ある領域内に所在する人物が認証対象者であるか否かを迅速かつ効率的に認証することができる人物認証装置及び人物認証方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、あらかじめ登録された認証対象者に係る複数の登録画像データを所定の撮像装置により撮像された人物に係る一又は複数の入力画像データと照合処理して、該人物が前記認証対象者と同一人であるか否かを認証する人物認証装置であって、前記認証対象者に係る複数の登録画像データを記憶する登録画像データ記憶部と、前記登録画像データ記憶部に記憶された前記認証対象者に係る複数の登録画像データ間の類似度に基づいて、各登録画像データの重みデータを算定する重みデータ算定部と、前記重みデータ算定部により算出された重みデータを登録画像データに関連付けて記憶する重みデータ記憶部と、前記所定の撮像装置により撮像された人物に係る一又は複数の入力画像データと前記登録画像データ記憶部に記憶された複数の登録画像データとの間の複数の画像データを用いた照合値を、前記重みデータ記憶部に記憶された重みデータを利用しつつ算定する照合値算定部と、前記照合値算定部により算定された照合値に基づいて、前記所定の撮像装置により撮像された人物が前記認証対象者であるか否かを判定する判定部とを備え、前記照合値算定部は、一又は複数の入力画像データと前記複数の登録画像データとを用いて前記複数の登録画像データにそれぞれ対応する評価値を算定し、各評価値に対応する重みデータを乗算して合算した値を前記照合値として算定することを特徴とする。

また、本発明は、上記発明において、前記所定の撮像装置は、前記認証対象者を探索する探索エリア内を移動する移動体に付設された撮像装置であることを特徴とする。

また、本発明は、上記発明において、前記重みデータ算定部は、前記認証対象者に係る一の登録画像データと該認証対象者に関する他の登録画像データとの類似度が高いほど、前記一の登録画像データに対応する重みデータを小さくすることを特徴とする。

また、本発明は、上記発明において、前記重みデータ算定部は、前記認証対象者に係る一の登録画像データと該認証対象者に関する他の登録画像データとの類似度を合計し、合計した類似度の逆数を前記一の登録画像データに対応する重みデータとして算定することを特徴とする。

また、本発明は、上記発明において、前記照合値算定部は、一の入力画像データに最も類似する登録画像データを特定し、該特定した登録画像データとの類似度が所定値以上となる登録画像データを更新対象登録画像データとして選択し、前記一の入力画像データとの類似度が既存の評価値を越える更新対象登録画像データが存在するならば、当該更新対象登録画像データの評価値を前記一の入力画像データとの類似度により更新する処理を前記一又は複数の入力画像データの各々について実行することで、前記複数の登録画像データにそれぞれ対応する評価値を算定することを特徴とする。

また、本発明は、あらかじめ登録された認証対象者に係る複数の登録画像データを所定の撮像装置により撮像された人物に係る一又は複数の入力画像データと照合処理して、該人物が前記認証対象者と同一人であるか否かを認証する人物認証方法であって、前記認証対象者に係る複数の登録画像データを取得する登録画像データ取得ステップと、前記登録画像データ取得ステップにより取得された前記認証対象者に係る複数の登録画像データ間の類似度に基づいて、各登録画像データの重みデータを算定する重みデータ算定ステップと、前記所定の撮像装置により撮像された人物に係る一又は複数の入力画像データと前記登録画像データ取得ステップにより取得された複数の登録画像データとの間の複数の画像データを用いた照合値を、前記重みデータ算定ステップにより算定された重みデータを利用しつつ算定する照合値算定ステップと、前記照合値算定ステップにより算定された照合値に基づいて、前記所定の撮像装置により撮像された人物が前記認証対象者であるか否かを判定する判定ステップとを含み、前記照合値算定ステップは、一又は複数の入力画像データと前記複数の登録画像データとを用いて前記複数の登録画像データにそれぞれ対応する評価値を算定し、各評価値に対応する重みデータを乗算して合算した値を前記照合値として算定することを特徴とする。

本発明によれば、ある領域内に所在する人物が認証対象者であるか否かを迅速かつ効率的に認証することができる。

図１は、実施例に係る人物認証システムのシステム構成図である。 図２は、図１に示した人物認証装置の内部構成を示す機能ブロック図である。 図３は、登録画像データ及び入力画像データに応じた理想的な照合結果についての説明図である。 図４は、理想的な照合結果を得るための重みについての説明図である。 図５は、図１に示した人物認証装置による登録処理手順を示すフローチャートである。 図６は、図１に示した人物認証装置による人物探索の処理手順を示すフローチャートである。 図７は、図６に示した照合値Ｖ算定処理の処理手順を示すフローチャートである。 図８は、本実施例にかかる照合の精度についての説明図である。 図９は、各種の入力画像データに対する照合値の変化についての説明図である。（その１） 図１０は、各種の入力画像データに対する照合値の変化についての説明図である。（その２） 図１１は、各種の入力画像データに対する照合値の変化についての説明図である。（その３） 図１２は、各種の入力画像データに対する照合値の変化についての説明図である。（その４） 図１３は、各種の入力画像データに対する照合値の変化についての説明図である。（その５）

以下に、添付図面を参照して、本発明に係る人物認証装置及び人物認証方法の好適な実施例を詳細に説明する。

まず、本実施例に係る人物認証システムのシステム構成について説明する。図１は、実施例に係る人物認証システムのシステム構成図である。ここでは、遊園地の入口であるゲート１１にゲートカメラ１２が設置されるとともに、ゲートカメラ１２が遊園地内の迷子センタ等に設置された人物認証装置２０と接続された状況を示している。また、遊園地内には、俯瞰用飛行体３１及び照合用飛行体３２が用意されている。

俯瞰用飛行体３１及び照合用飛行体３２は、小型の無人飛行体であり、カメラが搭載されている。俯瞰用飛行体３１及び照合用飛行体３２は、人物認証装置２０と無線通信可能であり、人物認証装置２０からの制御を受けて飛行し、撮像した映像データを人物認証装置２０に送信する。

人物認証装置２０は、ゲート１１を通過した人物を認証対象者として登録し、照合用飛行体３２を用いて認証対象者を探索することができる。具体的には、まず、ゲート１１を通過する認証対象者Ｈを所定時間継続してゲートカメラ１２が撮像し、撮像により得られた映像データを人物認証装置２０に送信する（Ｓ１）。

人物認証装置２０は、ゲートカメラ１２が撮像した映像データから認証対象者Ｈの像を検知する。そして、認証対象者Ｈの像を複数のフレームから切り出して、複数の登録画像データＴ_ｉ（１≦ｉ≦Ｎ）を生成する（Ｓ２）。このとき、各登録画像データＴ_ｉには認証対象者Ｈの上半身を含むことが望ましい。なお、Ｎは登録画像データの数である。

人物認証装置２０は、複数の登録画像データＴ_ｉにそれぞれ対応する重みデータα_ｉを算定し、登録画像データＴ_ｉと重みデータα_ｉとを対応付ける（Ｓ３）。詳細については後述するが、重みデータ算定部４１ｂは、同一の人物の登録画像データＴ_ｉを用い、登録画像データ間の類似度に基づいて重みデータを算定する。

認証対象者の探索を行う場合には、まず、人物認証装置２０は、俯瞰用飛行体３１及び照合用飛行体３２を探索対象のエリアの上空に飛行させる。このとき、俯瞰用飛行体３１は、人物の位置等を撮像できるよう比較的高い高度で飛行させる。

人物認証装置２０は、俯瞰用飛行体３１から映像データを取得し（Ｓ４）、近傍に所在する人物Ｈ’の位置、移動方向及び移動速度を検知する。そして、検知した人物Ｈ’の位置、移動方向及び移動速度に基づいて、照合用飛行体３２が入力画像データとして好適な画像データを撮像できるよう、照合用飛行体３２の飛行経路を指示する（Ｓ５）。

照合用飛行体３２は、人物認証装置２０からの飛行経路指示に基づいて飛行し、撮像した映像データを人物認証装置２０に送信する（Ｓ６）。

人物認証装置２０は、照合用飛行体３２が撮像した映像データから人物Ｈ’の像を検知する。そして、人物Ｈ’の像を複数のフレームから切り出して、複数の入力画像データＩ_ｋ（１≦ｋ≦Ｍ）を生成する（Ｓ７）。このとき、各入力画像データＩ_ｋには人物Ｈ’の上半身を含むことが望ましい。なお、Ｍは入力画像データの数である。

人物認証装置２０は、複数の登録画像データＴ_ｉ（１≦ｉ≦Ｎ）と複数の入力画像データＩ_ｋ（１≦ｋ≦Ｍ）とを用い、評価値Ｐ_ｉ（１≦ｉ≦Ｎ）を算定する（Ｓ８）。この評価値Ｐ_ｉは、登録画像データＴ_ｉにそれぞれ対応して算定され、該登録画像データと入力画像データＩ_ｋとの間の類似の度合を示す。評価値Ｐ_ｉの具体的な算定方法については後述する。

人物認証装置２０は、評価値Ｐ_ｉに対応すると重みデータα_ｉを乗算して合算し、照合値Ｖを算定する（Ｓ９）。照合値Ｖが閾値以上であるならば、人物認証装置２０は、照合用飛行体３２のカメラにより撮像された人物Ｈ’が認証対象者Ｈと同一人であると認証し、認証の結果を出力する。なお、ここでは照合値Ｖが閾値以上であるか否かにより認証を行う場合を示したが、照合値が閾値よりも大きいか否かにより認証を行うようにしてもよい。

このように、本実施例に係る人物認証システムでは、ゲートカメラ１２で撮像した映像データから認証対象者Ｈに係る複数の登録画像データＴ_ｉを生成するとともに、複数の登録画像データ間の類似度に基づいて各登録画像データの重みデータα_ｉを算定する。そして、照合用飛行体３２のカメラにより撮像された人物Ｈ’に係る一又は複数の入力画像データＩ_ｋと複数の登録画像データＴ_ｉとの間の照合値Ｖを、重みデータα_ｉを利用しつつ算定し、この照合値Ｖに基づいて照合用飛行体３２のカメラにより撮像された人物Ｈ’と認証対象者Ｈとが同一人であるか否かを認証するので、ある領域内に所在する人物が認証対象者であるか否かを迅速かつ効率的に認証することができる。

次に、図１に示した人物認証装置２０の構成について説明する。図２は、図１に示した人物認証装置２０の内部構成を示す機能ブロック図である。同図に示すように、この人物認証装置２０は、入出力部２１、通信部２２、無線通信部２３、記憶部２４及び制御部４０を有する。

入出力部２１は、キーボードやマウスからなる入力デバイスと、液晶パネルやディスプレイ装置からなる表示デバイスとを含む。通信部２２は、ゲートカメラ１２と通信を行うためのインタフェース部であり、無線通信部２３は俯瞰用飛行体３１及び照合用飛行体３２と無線通信を行うためのインタフェース部である。

記憶部２４は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、登録画像データと重みデータとを記憶する。なお、ここでは登録画像データと重みデータとを同一の記憶部２４に格納する構成を示したが、登録画像データと重みデータとをそれぞれ異なる記憶部に格納する構成であってもよい。

制御部４０は、人物認証装置２０を全体制御する制御部であり、登録処理部４１、人物検知部４２、飛行制御部４３、照合部４４及び判定部４５を有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、登録処理部４１、人物検知部４２、飛行制御部４３、照合部４４及び判定部４５にそれぞれ対応するプロセスを実行させることになる。

登録画像データ生成部４１ａは、ゲートカメラ１２が撮像した映像データを取得し、映像データから人物の像を検知する。そして、同一の人物について複数の登録画像データを生成する。例えば、ゲートカメラ１２が撮影した映像データの複数のフレームから同一人物の像をそれぞれ切り出して登録画像データとする。このとき、登録画像データとしては人物の上半身を含むことが望ましい。

重みデータ算定部４１ｂは、同一の人物について生成された複数の登録画像データにそれぞれ対応する重みデータを算定し、登録画像データと重みデータとを対応付けて記憶部２４に格納する。

人物検知部４２は、俯瞰用飛行体３１から取得した映像データを用い、近傍に所在する人物の位置、移動方向及び移動速度を検知する処理部である。飛行制御部４３は、人物検知部４２により検知された人物の位置、移動方向及び移動速度に基づいて、照合用飛行体３２が入力画像データとして好適な画像データを撮像できるよう、照合用飛行体３２の飛行経路を設定し、照合用飛行体３２の飛行を制御する。

照合部４４は、照合用飛行体３２により撮像された映像データを用いて照合を行う処理部であり、入力画像データ生成部４４ａ及び照合値算定部４４ｂを有する。入力画像データ生成部４４ａは、照合用飛行体３２から映像データを取得し、映像データから人物の像を検知する。そして、同一の人物について一又は複数の入力画像データを生成する。例えば、映像データの複数のフレームから同一人物の像をそれぞれ切り出して入力画像データとする。このとき、入力画像データとしては、人物の上半身を含むことが望ましい。

照合値算定部４４ｂは、入力画像データ生成部４４ａにより生成された一又は複数の入力画像データと認証対象者について生成された複数の登録画像データとの間の照合値を、記憶部２４に記憶された重みデータを利用しつつ算定する処理部である。

判定部４５は、照合用飛行体３２のカメラにより撮像された人物が認証対象者であるか否かを認証する処理部である。具体的には、判定部４５は、照合部４４により算出された照合値と閾値とを比較し、照合値が閾値以上であれば、照合用飛行体３２のカメラにより撮像された人物と認証対象者とが同一人であると認証し、認証の結果を出力する。

俯瞰用飛行体３１、もしくは照合用飛行体３２に人物認証装置２０を搭載して、ゲートカメラ１２と俯瞰用飛行体３１と照合用飛行体３２との間で通信することにしても良い。

登録画像データは、入口ゲートに設置されたゲートカメラ１２によって撮像した画像に限定されるものではなく、場内に設置された防犯カメラ等の画像を登録画像データとして用いることもできる。

また、決まった場所の俯瞰画像を撮像する場合、俯瞰画像は飛行体でなく俯瞰画像を撮像できる位置に設置された撮像装置で撮像しても良い。例えば、ポールの天辺、ビルの側壁などに設置した撮像装置により俯瞰画像を撮像可能である。

次に、重みデータの算定について説明する。図３は、登録画像データ及び入力画像データに応じた理想的な照合結果についての説明図であり、図４は、理想的な照合結果を得るための重みについての説明図である。

照合結果は正規化相関の相関値の合算であり、個別画像での相関値は「−１」〜「１」の値を取り、無相関は「０」となる。

図３（ａ）では、登録画像データとして、人物を正面から撮像した正面像を１つ有している。同様に、入力画像データとして、同一の人物を正面から撮像した正面像を１つ得ている。この２つの正面像の特徴が完全に一致すれば、理想的な照合結果として「１」が得られるものとする。

図３（ｂ）では、登録画像データとして、正面像を２つ有している。また、入力画像データとして、同一の人物の正面像を１つ得ている。この場合にも、理想的には入力画像データが登録画像データのいずれかと特徴が完全に一致し、照合結果として「１」が得られる。

図３（ｃ）では、登録画像データとして、正面像を２つ有している。一方、入力画像データとして、同一の人物を正面から撮像した正面像と背後から撮像した背面像とを１つずつ得ている。この場合には、入力画像データの正面像が登録画像データと一致し、入力画像データの背面像は登録画像データと一致しないため、理想的な照合結果は「１」である。

図３（ｄ）では、登録画像データとして正面像を２つ有し、入力画像データとして正面像を２つ得ている。この場合には、２つの入力画像データが２つの登録画像データと一致するが、これらの画像データは全て正面像の特徴を示すものであるため、理想的な照合結果は「１」である。

図３（ｅ）では、登録画像データとして正面像と背面像を１つずつ有し、入力画像データとして正面像を１つ得ている。この場合には、入力画像データの正面像が登録画像データの正面像と一致するため、理想的な照合結果は「１」である。

図３（ｆ）では、登録画像データとして正面像と背面像を１つずつ有し、入力画像データとして正面像と背面像を１つずつ得ている。この場合には、入力画像データの正面像と背面像がそれぞれ登録画像データの正面像と背面像と一致する。すなわち、人物の正面像の特徴と、背面像の特徴がともに一致することが示されているため理想的な照合結果は「２」である。

図３（ｇ）では、登録画像データとして正面像と背面像を１つずつ有している。そして、入力画像データとして正面像、背面像、人物を側面から撮像した側面像を１つずつ得ている。この場合には、入力画像データの正面像と背面像がそれぞれ登録画像データの正面像と背面像と一致し、入力画像データの側面像は登録画像データと一致しない。このため、理想的な照合結果は「２」である。

このように、登録画像データや入力画像データの数が増えたとしても、同一方向の画像データばかりであればそれらの画像データが示す情報量は増えず、照合精度の向上に寄与しないため、照合結果の値は増大すべきではない。一方、異なる方向から撮像した複数の画像データが登録画像データと入力画像データの双方に含まれていれば、それらの画像データが示す情報が増え、照合精度の向上に寄与するので、照合結果の値を大きくすることが望ましい。

そこで、本実施例にかかる人物認証システムでは、図４に示すように登録画像データの類似度に基づいて重み付けを行うことで、登録画像データ及び入力画像データの情報量を評価し、理想的な照合を行うようにしている。

図４は、登録画像データとして正面像ＴＰ０１、正面像ＴＰ０２及び背面像ＴＰ０３を有する状態を示している。正面像ＴＰ０１と正面像ＴＰ０２とは互いに類似度が高く、背面像ＴＰ０３は、正面像ＴＰ０１及び正面像ＴＰ０２とは類似度が低い。この場合には、正面像ＴＰ０１及び正面像ＴＰ０２にそれぞれ重みデータとして「１／２」を与え、背面像ＴＰ０３に重みデータ「１」を与える。この様に、認証対象者に係る一つの登録画像データと認証対象者に関する他の登録画像データとの類似度が高いほど、該当する類似度の高い登録画像データに対する重みデータを小さくしている。

正面像ＴＰ０１と正面像ＴＰ０２の重みデータが「１／２」、背面像ＴＰ０３の重みデータが「１」であれば、１つの正面像が入力画像データとして得られた場合に、正面像ＴＰ０１との照合結果が「１／２」、正面像ＴＰ０２との照合結果が「１／２」、背面像ＴＰ０３との照合結果が「０」となり、合計値が「１」となる。

また、１つの背面像が入力画像データとして得られた場合に、正面像ＴＰ０１との照合結果が「０」、正面像ＴＰ０２との照合結果が「０」、背面像ＴＰ０３との照合結果が「１」となり、合計値が「１」となる。

そして、正面像と背面像の双方が入力画像データとして得られた場合に、正面像ＴＰ０１との照合結果が「１／２」、正面像ＴＰ０２との照合結果が「１／２」、背面像ＴＰ０３との照合結果が「１」となり、合計値が「２」となる。

このように、登録画像データの類似度に基づいて重み付けを行うことで、登録画像データ及び入力画像データの情報量を評価し、理想的な照合を行うことができる。具体的には、u番目の登録画像データＴ_uと、ｖ番目の登録画像データＴ_ｖとの類似度Ｒ_ｕ，ｖを

によって算定し、ｉ番目の登録画像データＴ_ｉに対応する重みデータα_ｉを

によって算定する。なお、ｆ_verifyは、２つの画像データの特徴量を比較し、一致度合いを求める関数である。この重みデータα_iは，各登録画像データと、その他の登録画像データとの類似度の合計の逆数である。

登録画像データに対する評価値Ｐｉを

によって算出し、照合値Ｖを

によって算定する。

次に、人物認証装置２０による登録処理手順について説明する。図５は、図１に示した人物認証装置２０による登録処理手順を示すフローチャートである。人物認証装置２０の登録画像データ生成部４１ａは、まず、ゲートカメラ１２が撮像した映像データを取得する（ステップＳ１０１）。

登録画像データ生成部４１ａは、ゲートカメラ１２により撮像された映像データから人物の像を検知し、同一の人物について複数の登録画像データを生成する（ステップＳ１０２）。例えば、ゲートカメラ１２が撮影した映像データの複数のフレームから同一人物の像をそれぞれ切り出して登録画像データとする。

重みデータ算定部４１ｂは、各登録画像データについて、特徴量を算出する（ステップＳ１０３）。特徴量としては、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Ｇａｂｏｒフィルタを適用した振幅成分及びＧａｂｏｒフィルタを適用した方向成分などを用いることができる。

重みデータ算定部４１ｂは、算出した特徴量を用い、同一の人物について生成された複数の登録画像データについて類似度Ｒを算定する（ステップＳ１０４）。重みデータ算定部４１ｂは、算出した類似度Ｒを用い、複数の登録画像データにそれぞれ対応する重みデータαを算定する（ステップＳ１０５）。重みデータ算定部４１ｂは、登録画像データと重みデータαとを対応付けて記憶部２４に格納し（ステップＳ１０６）、登録処理を終了する。

次に、人物認証装置２０による人物探索の処理手順について説明する。図６は、図１に示した人物認証装置２０による人物探索の処理手順を示すフローチャートである。認証対象者が指定され、探索の開始が指示されたならば、人物認証装置２０の飛行制御部４３は、まず、俯瞰用飛行体３１及び照合用飛行体３２を最初の探索エリアに移動させる（ステップＳ２０１）。探索エリアは、探索の対象となる領域を俯瞰用飛行体３１のカメラにより撮像可能な範囲に応じて区分した小領域であり、俯瞰用飛行体３１及び照合用飛行体３２は、探索エリアを予め指定された順序で移動しながら探索エリアごとに探索を行う。

俯瞰用飛行体３１及び照合用飛行体３２が探索エリアに到達したならば、俯瞰用飛行体３１は、探索エリアを撮像する。人物認証装置２０の人物検知部４２は、俯瞰用飛行体３１により撮像された画像データを取得し（ステップＳ２０２）、取得した画像データに対する画像処理によって探索エリア内に所在する人物の位置、移動方向及び移動速度を検知する（ステップＳ２０３）。

飛行制御部４３は、人物検知部４２により検知された人物の位置、移動方向及び移動速度に基づいて、照合用飛行体３２が入力画像データとして好適な画像データを撮像できるよう、照合用飛行体３２の飛行経路を設定する（ステップＳ２０４）。この飛行経路は照合用飛行体３２に送信され、照合用飛行体３２は設定された飛行経路に従って飛行しつつ対象の人物を撮像する。

入力画像データ生成部４４ａは、照合用飛行体３２により撮像された映像データを取得する（ステップＳ２０５）。そして、取得した画像データを用い、同一の人物について一又は複数の入力画像データを生成する（ステップＳ２０６）。例えば、映像データの複数のフレームから同一人物の像をそれぞれ切り出して入力画像データとする。

照合値算定部４４ｂは、入力画像データ生成部４４ａにより生成された一又は複数の入力画像データと認証対象者について生成された複数の登録画像データとの間の照合値Ｖを算定する照合値Ｖ算定処理を行う（ステップＳ２０７）。照合値Ｖ算定処理の詳細については後述する。

判定部４５は、算定された照合値Ｖと閾値とを比較する（ステップＳ２０８）。照合値Ｖが閾値未満であれば（ステップＳ２０８；Ｎｏ）、判定部４５は、入力画像データの数が十分であったか否かを判定する（ステップＳ２０９）。入力画像データの不足のために認証が失敗した可能性があるためである。入力画像データの数が十分でなければ（ステップＳ２０９；Ｎｏ）、ステップＳ２０２に移行し、同一探索エリアで照合用飛行体３２による撮像を行う。一方、入力画像データの数が十分であれば（ステップＳ２０９；Ｙｅｓ）、飛行制御部４３は、俯瞰用飛行体３１及び照合用飛行体３２を次の探索エリアに移動させ（ステップＳ２１０）、ステップＳ２０２に移行する。

照合値Ｖが閾値以上となれば（ステップＳ２０８；Ｙｅｓ）、判定部４５は、照合用飛行体３２のカメラにより撮像された人物と認証対象者とが同一人であると認証し、撮像された人物を探索結果として表示デバイスなどに出力して（ステップＳ２１１）、処理を終了する。

次に、図６に示した照合値Ｖ算定処理について詳細に説明する。図７は、図６に示した照合値Ｖ算定処理の処理手順を示すフローチャートである。ここで、Ｔ_ｉをｉ番目の登録画像データ、Ｉ_ｋをｋ番目の入力画像データとし、Ｎを登録画像データ数、Ｍを入力画像データ数とする。

照合値算定部４４ｂは、まず、全登録画像データと全入力画像データとを照合し、個別照合値Ｓ_ｉ，ｋを算定する（ステップＳ３０１）。個別照合値Ｓ_ｉ，ｋは、登録画像データＴ_ｉと入力画像データＩ_ｋとの特徴量を比較して一致度合いを求め、登録画像データＴ_ｉの他人分布で正規化した値である。

登録画像データＴ_ｉ及び入力画像データＩ_ｋの特徴量は、それぞれ上半身を含む像に対し、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Ｇａｂｏｒフィルタを適用した振幅成分及びＧａｂｏｒフィルタを適用した方向成分などを用いる。このため、人物の顔のみならず、服装や体型も人物の特徴として照合に用いることができる。

登録画像データＴ_ｉの他人分布は、登録画像データＴ_ｉと他の登録画像データとの間で照合を行うことで求めることができ、σ_ｉは他人分布の分散、ａｖｅ_ｉは他人分布の平均である。登録画像データＴ_ｉの他人分布は、登録画像データＴ_ｉがどれだけ認証対象者の特徴を含むかを示している。

ステップＳ３０１の後、照合値算定部４４ｂは、登録画像データにそれぞれ対応する評価値Ｐを「０」に初期化する（ステップＳ３０２）。その後、照合値算定部４４ｂは、入力画像データＩ_ｋに対し、個別照合値Ｓ_ｉ，ｋの最大値を得るｉｎｄｅｘ＿ｉを特定する（ステップＳ３０３）。また、照合値算定部４４ｂは、登録画像データ番号ｉを「１」に設定する（ステップＳ３０４）。

照合値算定部４４ｂは、Ｒ_{ｉｎｄｅｘ＿ｉ}とｔｈ＿ｓｅｌｆとを比較する（ステップＳ３０５）。ｔｈ＿ｓｅｌｆは、登録画像データ間の類似度Ｒによる更新閾値である。Ｒ_{ｉｎｄｅｘ＿ｉ}＞ｔｈ＿ｓｅｌｆであるならば（ステップＳ３０５；Ｙｅｓ）、照合値算定部４４ｂは、Ｓ_ｉ，ｋとｔｈ＿ｖｏｔｅとを比較する（ステップＳ３０６）。ｔｈ＿ｖｏｔｅは、個別照合値での閾値である。

Ｓ_ｉ，ｋ＞ｔｈ＿ｖｏｔｅであるならば（ステップＳ３０６；Ｙｅｓ）、照合値算定部４４ｂは、評価値Ｐ_ｉとＳ_ｉ，ｋとを比較する（ステップＳ３０７）。Ｐ_ｉ＜Ｓ_ｉ，ｋであれば（ステップＳ３０７；Ｙｅｓ）、評価値Ｐ_ｉをＳ_ｉ，ｋの値で更新する（ステップＳ３０８）。

ステップＳ３０８の後、もしくはＰ_ｉ＜Ｓ_ｉ，ｋでない場合（ステップＳ３０７；Ｎｏ）、照合値算定部４４ｂは、登録画像データ番号ｉが最大値Ｎであるか否かを判定する（ステップＳ３０９）。

ｉが最大値Ｎでない場合（ステップＳ３０９；Ｎｏ）、Ｒ_{ｉｎｄｅｘ＿ｉ}＞ｔｈ＿ｓｅｌｆでない場合（ステップＳ３０５；Ｎｏ）、もしくはＳ_ｉ，ｋ＞ｔｈ＿ｖｏｔｅでない場合（ステップＳ３０６；Ｎｏ）、照合値算定部４４ｂは、登録画像データ番号ｉをインクリメントして（ステップＳ３１２）、ステップＳ３０５に移行する。

ｉが最大値Ｎであるならば（ステップＳ３０９；Ｙｅｓ）、照合値算定部４４ｂは、入力画像データ番号ｋが最大値Ｍであるか否かを判定する（ステップＳ３１０）。ｋが最大値Ｍでないならば（ステップＳ３１０；Ｎｏ）、照合値算定部４４ｂは、入力画像データ番号ｋをインクリメントして（ステップＳ３１１）、ステップＳ３０３に移行する。

ｋが最大値Ｍであるならば（ステップＳ３１０；Ｙｅｓ）、照合値算定部４４ｂは、評価値Ｐ_ｉに対応する重みデータα_ｉを乗算した上で合算することで照合値Ｖを算定して（ステップＳ３１１）、照合値Ｖ算定処理を終了する。

このように、照合値算定部４４ｂは、入力画像データＩ_ｋに最も類似する登録画像データＴ_{ｉｎｄｅｘ＿ｉ}を特定し、登録画像データＴ_{ｉｎｄｅｘ＿ｉ}との類似度が閾値ｔｈ＿ｓｅｌｆ以上となる登録画像データを更新対象登録画像データとして選択し、入力画像データＩ_ｋと更新対象登録画像データとの個別照合値Ｓ_ｉ，ｋが更新対象登録画像データの既存の評価値Ｐ_ｉを越えるならば評価値Ｐ_ｉを個別照合値_Ｓｉ、ｋにより更新する。かかる処理を入力画像データの各々について実行することで複数の登録画像データにそれぞれ対応する評価値Ｐ_ｉを算定し、評価値Ｐ_ｉに重みデータα_ｉを乗算した上で合算することで照合値Ｖを算定している。

次に、本実施例にかかる照合の精度について説明する。図８は、本実施例にかかる照合の精度についての説明図である。図８は、４６画素×４６画素の画像データの解像度を１００％とし、入力画像データの解像度が１００％、７５％、５０％、３３％、２５％である場合のＲＯＣ（Receiver Operating Characteristic）曲線を示している。また、本実施例にかかる照合値を用いた認証の結果を累積照合として示すとともに、比較のため、個別照合値による認証の結果を個別照合として示している。

図８に示すように、解像度１００％と解像度７５％では、累積照合及び個別照合はともに良好な特性が得られている。解像度５０％では、累積照合の特性が個別照合の特性よりも良好であることが明らかとなっており、解像度３３％においてはその特性の差が特に顕著となる。解像度２５％となると、累積照合と個別照合の双方の特性は大きく劣化するが、累積照合の特性が個別照合よりも依然優れている。

このように、本実施例にかかる照合値を用いた累積照合では、解像度が不十分である場合にも有効に照合を行うことができる。このため、照合用飛行体３２により比較的遠方から撮像した映像データを用いる場合にも照合精度の向上が期待できる。

次に、各種の入力画像データに対する照合値の変化について説明する。図９〜図１３は、各種の入力画像データに対する照合値の変化についての説明図である。図９に示すように、登録画像データとしては、認証対象者の正面像、背面像、側面増を含む２８の画像データを用いた。この登録画像データと各種の入力画像データとで算定した照合値を示すとともに、重み付け評価値（α_ｉ*Ｐ_ｉ）のヒストグラムを示す。

図９（ａ）は、入力画像データが正面像１枚の場合であり、照合値Ｖは「０．４６」である。図９（ｂ）は、入力画像データが正面像と略正面からの像の２枚であり、照合値Ｖは「０．６３」である。

図１０（ｃ）は、正面像２枚と略正面像１枚を入力画像データとしており、照合値Ｖは「０．７１」である。図１０（ｄ）は、入力画像データが正面像と背面像の２枚であり、照合値Ｖは「０．７９」である。

図１１（ｅ）は、正面像、背面像、略正面像の３枚を入力画像データとしており、照合値Ｖは「１．０８」である。図１１（ｆ）は、正面像、背面像、側面像などを含む２８の画像データを入力画像データとしており、照合値Ｖは「２．１８」である。

図１２（ｇ）は、正面像、背面像、側面像などを含む２８の画像データを入力画像データとしているが、それぞれの画像データは認証対象者とは別人の像であり、照合値Ｖは「０．３７」である。図１２（ｈ）は、登録画像データをそのまま入力画像データとして用いた場合であり、照合値Ｖは「２１．７１」である。また、図１３（ｉ）は、図１０（ｃ）と同じ入力画像データに人物の切り出しに失敗した後検出画像を２枚加えているが、照合値は「０．７１」である。

図９〜図１３から明らかなように、変化の小さい画像データを複数枚入力するよりも、変化の大きい画像データを入力するほうが照合値を大きくすることができる。変化の小さい画像データを入力しても、ヒストグラムへの更新結果に対して影響が少ないが、変化の大きい画像データを入力すれば、異なる登録画像データ番号に分散して更新が行なわれるからである。これは、様々な角度での個別照合値が累積して照合値Ｖとなることを示している。また、誤検出画像が含まれたとしても、照合値が低下しないことが示されている。

上述してきたように、本実施例に係る人物認証装置及び人物認証方法は、認証対象者に係る複数の登録画像データを生成するとともに、複数の登録画像データ間の類似度に基づいて各登録画像データの重みデータを算定して登録画像データに関連付ける。そして、探索エリア内を移動する照合用飛行体のカメラにより撮像された人物に係る一又は複数の入力画像データと複数の登録画像データとの間の照合値を、重みデータを利用しつつ算定し、この照合値に基づいて、照合用飛行体のカメラにより撮像された人物が認証対象者であるか否かを判定する。このため、ある領域内に所在する人物が認証対象者であるか否かを迅速かつ効率的に認証することができる。

なお、本実施例に図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部または一部を各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、本実施例では、ゲートカメラ１２の出力から直接登録画像データを生成する構成を例に説明を行なったが、ゲートカメラ１２の出力を所定の記憶部に蓄積しておき、蓄積した映像データから登録画像データを生成するように構成してもよい。かかる構成によれば、迷子の問い合わせがあった場合に蓄積した画像データを再生し、認証対象者とする人物の指定を受けて登録画像データを生成することができる。

また、登録画像データ間の類似度の算定や、入力画像データの個別照合値の算定に用いる特徴量及び算定アルゴリズムは、任意のものを用いることができる。また、類似度や個別照合値の算定に先だって、画像データに対する画像処理を施すように構成してもよい。例えば、飛行体から入力画像データを撮像する場合のように、登録画像データと入力画像データとの間で撮像時の俯角に違いが生じることが想定される場合には、俯角の差異を補正する幾何学補正を行なったうえで個別照合値を算定すればよい。

以上のように、本発明に係る人物認証装置及び人物認証方法は、ある領域内に所在する人物が認証対象者であるか否かを迅速かつ効率的に認証することに適している。

１１ ゲート
１２ ゲートカメラ
２０ 人物認証装置
２１ 入出力部
２２ 通信部
２３ 無線通信部
２４ 記憶部
３１ 俯瞰用飛行体
３２ 照合用飛行体
４０ 制御部
４１ 登録処理部
４１ａ 登録画像データ生成部
４１ｂ 重みデータ算定部
４２ 人物検知部
４３ 飛行制御部
４４ 照合部
４４ａ 入力画像データ生成部
４４ｂ 照合値算定部
４５ 判定部
Ｈ 認証対象者
Ｈ’ 人物
Ｔ_ｉ 登録画像データ
ｉ 登録画像データ番号
Ｎ 登録画像データ数
Ｒ 登録画像データの類似度
α 重みデータ
Ｐ_ｉ 登録画像データに対応する評価値
σ_ｉ 他人分布の分散
ａｖｅ_ｉ 他人分布の平均
Ｉ_ｋ 入力画像データ
ｋ 入力画像データ番号
Ｍ 入力画像データ数
Ｓ_ｉ，ｋ 個別照合値
ｔｈ＿ｓｅｌｆ 登録画像データ間の類似度Ｒによる更新閾値
ｔｈ＿ｖｏｔｅ 個別照合値での閾値
Ｖ 照合値

Claims (6)

1. あらかじめ登録された認証対象者に係る複数の登録画像データを所定の撮像装置により撮像された人物に係る一又は複数の入力画像データと照合処理して、該人物が前記認証対象者と同一人であるか否かを認証する人物認証装置であって、
   前記認証対象者に係る複数の登録画像データを記憶する登録画像データ記憶部と、
   前記登録画像データ記憶部に記憶された前記認証対象者に係る複数の登録画像データ間の類似度に基づいて、各登録画像データの重みデータを算定する重みデータ算定部と、
   前記重みデータ算定部により算出された重みデータを登録画像データに関連付けて記憶する重みデータ記憶部と、
   前記所定の撮像装置により撮像された人物に係る一又は複数の入力画像データと前記登録画像データ記憶部に記憶された複数の登録画像データとの間の複数の画像データを用いた照合値を、前記重みデータ記憶部に記憶された重みデータを利用しつつ算定する照合値算定部と、
   前記照合値算定部により算定された照合値に基づいて、前記所定の撮像装置により撮像された人物が前記認証対象者であるか否かを判定する判定部と
   を備え、
   前記照合値算定部は、一又は複数の入力画像データと前記複数の登録画像データとを用いて前記複数の登録画像データにそれぞれ対応する評価値を算定し、各評価値に対応する重みデータを乗算して合算した値を前記照合値として算定する
   ことを特徴とする人物認証装置。
2. 前記所定の撮像装置は、前記認証対象者を探索する探索エリア内を移動する移動体に付設された撮像装置であることを特徴とする請求項１に記載の人物認証装置。
3. 前記重みデータ算定部は、前記認証対象者に係る一の登録画像データと該認証対象者に関する他の登録画像データとの類似度が高いほど、前記一の登録画像データに対応する重みデータを小さくすることを特徴とする請求項１又は２に記載の人物認証装置。
4. 前記重みデータ算定部は、前記認証対象者に係る一の登録画像データと該認証対象者に関する他の登録画像データとの類似度を合計し、合計した類似度の逆数を前記一の登録画像データに対応する重みデータとして算定することを特徴とする請求項３に記載の人物認証装置。
5. 前記照合値算定部は、一の入力画像データに最も類似する登録画像データを特定し、該特定した登録画像データとの類似度が所定値以上となる登録画像データを更新対象登録画像データとして選択し、前記一の入力画像データとの類似度が既存の評価値を越える更新対象登録画像データが存在するならば、当該更新対象登録画像データの評価値を前記一の入力画像データとの類似度により更新する処理を前記一又は複数の入力画像データの各々について実行することで、前記複数の登録画像データにそれぞれ対応する評価値を算定することを特徴とする請求項１乃至４のいずれか一つに記載の人物認証装置。
6. あらかじめ登録された認証対象者に係る複数の登録画像データを所定の撮像装置により撮像された人物に係る一又は複数の入力画像データと照合処理して、該人物が前記認証対象者と同一人であるか否かを認証する人物認証方法であって、
   前記認証対象者に係る複数の登録画像データを取得する登録画像データ取得ステップと、
   前記登録画像データ取得ステップにより取得された前記認証対象者に係る複数の登録画像データ間の類似度に基づいて、各登録画像データの重みデータを算定する重みデータ算定ステップと、
   前記所定の撮像装置により撮像された人物に係る一又は複数の入力画像データと前記登録画像データ取得ステップにより取得された複数の登録画像データとの間の複数の画像データを用いた照合値を、前記重みデータ算定ステップにより算定された重みデータを利用しつつ算定する照合値算定ステップと、
   前記照合値算定ステップにより算定された照合値に基づいて、前記所定の撮像装置により撮像された人物が前記認証対象者であるか否かを判定する判定ステップと
   を含み、
   前記照合値算定ステップは、一又は複数の入力画像データと前記複数の登録画像データとを用いて前記複数の登録画像データにそれぞれ対応する評価値を算定し、各評価値に対応する重みデータを乗算して合算した値を前記照合値として算定する
   ことを特徴とする人物認証方法。

Images