JP5172167B2 - 人物認識装置および人物認識方法 - Google Patents

Description

本発明は、たとえば、人物の顔、網膜、口、虹彩、指紋、掌紋、耳、人体の一部の静脈形状などの生体情報を取得し、あらかじめ登録されている少なくとも１つ以上の生体情報と照合する人物認識装置および人物認識方法に関する。

従来、たとえば、人物認識装置では、認識対象者の顔、網膜、口、虹彩、指紋、掌紋、耳、人体の一部の静脈形状などの生体情報を取得し、取得した生体情報と予め登録されている少なくとも１つ以上の生体情報とを照合することにより当該認識対象者が予め登録された人物（登録者）であるか否かを判定する。また、セキュリティエリアへの入退場あるいは特定の機器へのアクセスを管理するアクセス制御システム、あるいは、人物を監視する人物の監視システムでは、上記人物認識装置による判定結果に応じた制御を行うものが開発されている。人物認識装置に用いられる人物認識方法には、立ち止まった状態の認識対象者から取得した生体情報と予め登録されている生体情報とを照合する方法、あるいは、歩行などの動作状態の認識対象者から取得した生体情報と予め登録されている生体情報とを照合する方法などの様々な応用例がある。

たとえば、通路等を通行している状態の認識対象者（通行者）から取得した生体情報と予め登録されている生体情報とを照合する通行者認識装置では、認識対象者に認識処理が行われていることを特別に意識させなくとも認識処理を実行することができる。このような通行者を認識する通行者認識装置では、連続して歩行している複数の通行者を認識する場合も想定される。このような場合、従来の人物認識装置では、連続して歩行している複数の人物であっても、１人１人について認識処理を行なう。また、従来は、伴連れを防止するために、連続する人物の人数を計測する技術も公開されている（たとえば、特許文献１）。
特許第３６１７３７３号公報 特開２００１−２５６４９６号公報 特開２００４−３６２２８３号公報

この発明の一形態では、複数の人物からなるグループを効率的に判定でき、利便性の高い人物認識装置および人物認識方法を提供することを目的とする。

この発明の一形態としての人物認識装置は、人物を認識するものであって、少なくとも１つの登録者の生体情報と各登録者のグループを示すグループ情報とが対応づけて記憶されている記憶手段と、１つのエリア内における複数の監視エリアごとに、各監視エリアに存在している人物の生体情報を含む情報を順次取得する情報取得手段と、前記情報取得手段により取得された各情報から少なくとも１人分の生体情報を検出する検出手段と、前記検出手段により検出された各生体情報と前記記憶手段に記憶されている各生体情報とを照合することにより前記検出手段により検出された生体情報の人物を認識する認識手段と、前記情報取得手段が取得した各監視エリアの情報と、その情報から前記検出手段が検出した生体情報に対する前記認識手段による認識結果とに基づいて、予め設定した属性の人物が複数人同時に特定のエリア内に存在するか否かを判定するグループ判定手段と、このグループ判定手段により予め設定した属性の人物が複数人同時に特定のエリアに存在すると判定した場合、警報を外部機器へ出力する出力手段とを有する。

この発明の一形態としての人物認識方法は、人物を認識する人物認識装置に用いられる方法であって、１つのエリア内における複数の監視エリアごとに、各監視エリアに存在している人物の生体情報を含む情報を順次取得し、前記取得した各情報から少なくとも１人分の生体情報を検出し、前記検出した各生体情報と、グループ情報を対応づけて記憶手段に記憶されている少なくとも１人の登録者の生体情報とを照合することにより、前記取得した情報から検出した各生体情報の人物を認識し、前記取得した各監視エリアの情報と、その情報から検出された生体情報に対する認識結果とに基づいて、予め設定した属性の人物が複数人同時に特定のエリア内に存在するか否かを判定し、予め設定した属性の人物が複数人同時に特定のエリアに存在すると判定された場合、警報を外部機器へ出力する。

この発明の一形態では、複数の人物からなるグループを効率的に判定でき、利便性の高い人物認識装置および人物認識方法を提供することを目的とする。

以下、本発明に係る実施の形態について図面を参照して説明する。
以下の各実施の形態では、認識対象者の顔の画像（生体情報）から得られた顔の特徴情報を予め登録されている少なくとも１つ以上の顔の特徴情報と照合することにより当該認識対象者を認識する人物認識装置について説明する。以下に説明する各実施の形態の人物認識装置は、顔以外の様々な生体情報により人物の認識を行なう方法に適用できる。たとえば、人物認識装置には、顔画像以外に、網膜、口、虹彩、指紋、掌紋、耳、人体の一部（手または指等）の静脈形状などの生体情報により人物を認識する方法が適用可能である。

また、各実施の形態では、特定の場所を通行する人物（通行者）を認識する人物認識装置としての通行者認識装置について説明する。各実施の形態の通行者認識装置は、たとえば、特定の人物のみが入退場を許可されるエリア（セキュリティエリア）への人物の入退場を管理する入退場管理システム、特定の機器などへのアクセスを制御するアクセス制御システム、特定の場所を通行する人物を監視員が監視するための人物の監視システム、あるいは、特定の条件に基づいて監視映像を記憶装置に記憶する監視映像の記録システムなどに適用されることが想定される。

なお、各実施の形態の通行者認識装置は、特に、認識対象者としての通行者が非常に多い場所における入退場管理あるいは人物の監視などを行うシステムに適用することを想定するものとする。たとえば、各実施の形態の通行者認識装置は、ビルディングあるいは企業の建物のエントランスを出入りする通行者を管理する入退場管理システム、あるいは、商用施設、娯楽施設あるいは交通機関などの多くの通行者が出入りする場所における人物の監視システムに適用されることを想定している。

まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る人物認識装置としての通行者認識装置１０２を含む通行者認識システム１００の構成例を概略的に示すものである。なお、図１は、通行者認識システム１００がゲートの通行（入退場）を制御する入退場管理システムおよび人物の監視システムとして運用される場合の構成例を示している。
図１に示すように、通行者認識システム１００は、カメラ１０１、通行者認識装置１０２、ゲート装置１０３、および、監視装置１０４などにより構成されている。

上記カメラ１０１は、生体情報としての顔画像を含む情報（画像）を取得するための装置である。上記カメラ１０１は、特定の場所（監視するエリア）の画像を撮影する。上記カメラ１０１では、ゲート装置１０３を通行しようとする通行者Ｍの顔画像（少なくとも顔を含んでいる画像）を撮影するようになっている。上記カメラ１０１は、動画（所定のフレームレートの連続する画像）を撮影するカメラである。たとえば、上記カメラ１０１は、ＣＣＤセンサなどの撮像素子によりテレビジョンカメラなどにより構成される。上記カメラ１０１は、撮影した画像を上記通行者認識装置１０２に供給するようになっている。なお、生体情報を含む情報を取得するための装置としては、カメラの代わりに、スキャナなどの情報入力装置を用いるようにしても良い。

また、当該通行者認識システム１００の運用形態によっては、通行者を検知するための補助手段として、上記カメラ１０１の近傍に人物を検知するためのセンサ１０１ａを設置するようにしても良い。上記カメラ１０１の近傍に設置されるセンサ１０１ａとしては、たとえば、カメラ１０１により撮影されている人物からカメラ１０１までの距離を検出するための距離センサ、カメラ１０１により撮影されている人物の移動速度を計測するための速度計測器などがある。上記のようなセンサで検出した情報は、カメラ１０１で撮影した画像に対する補助情報として上記通行者認識装置１０２へ供給されるようにすれば良い。

上記通行者認識装置１０２は、上記カメラ１０１が撮影した画像から検出される顔画像の人物を認識するものである。また、上記通行者認識装置１０２は、人物の認識結果をゲート装置１０３へ出力するようになっている。上記通行者認識装置１０２では、上記カメラ１０１により撮影した画像を取得（入力）し、入力した画像から顔の特徴情報の抽出し、抽出した顔の特徴情報と予め記憶装置に記憶（登録）されている登録者の顔の特徴情報とを照合する。また、上記通行者認識装置１０２は、順次、カメラ１０１から入力する画像に対する照合結果と所定の条件とに基づいて認識された人物に対するグループ判定を行う。上記通行者認識装置１０２は、上記のような照合結果とグループ判定の結果とをゲート装置１０３および監視装置１０４へ出力する。

上記ゲート装置１０３および上記監視装置１０４は、上記通行者認識装置１０２による処理結果等の出力に応じて動作する外部装置である。上記ゲート装置１０３あるいは上記監視装置１０４は、当該システムの運用形態に応じて設置されるものである。上記ゲート装置１０３あるいは上記監視装置１０４は、当該システムの運用形態によっては省略するようにして良い。

上記ゲート装置１０３は、人物（通行者）の通行を制御するための装置である。上記ゲート装置１０３は、たとえば、ゲート（図示しない）、ゲートの開閉を制御するための制御機構（図示しない）、および、上記通行者認識装置１０２とのデータ通信を行うためのインターフェース（図示しない）などにより構成される。図１に示す構成例では、上記ゲート装置１０３は、図示しないゲートの開閉を制御することにより、通行者の通行（入退場）を制御する。すなわち、当該通行者認識システムがゲートの通行を制御する入退場管理システムとして運用される場合、上記ゲート装置１０３は、上記通行者認識装置１０２による処理結果（通行者に対する認識結果）に応じて通行者の通行を制御するように動作する。

上記監視装置１０４は、監視員が所定のエリアの監視を行うための装置である。上記監視装置１０４は、監視員に対して情報を報知するための構成を有している。たとえば、上記監視装置１０４は、情報を表示するための表示装置（図示しない）、警報を発するための警報装置（図示しない）、監視員が操作指示を入力するための操作部（図示しない）、および、上記通行者認識装置１０２とのデータ通信を行うためのインターフェース（図示しない）などにより構成される。図１に示す構成例では、上記監視装置１０４は、上記カメラ１０１が撮影しているエリア（ゲート装置１０３の近傍のエリア）における人物（通行者）を監視する。すなわち、当該通行者認識システムが所定のエリアにおける人物の監視を行う監視システムとして運用される場合、上記監視装置１０４は、上記通行者認識装置１０２による処理結果（通行者に対する認識結果）などの情報を監視者に対して報知（表示、あるいは、音声による警告等）するように動作する。

次に、上記通行者認識装置１０２の構成例について説明する。
また、上記通行者認識装置１０２は、入力部（画像入力部）１１１、制御部１１２、出力部１１３、および、記憶部１１４などにより構成されている。さらに、上記制御部１１２は、特徴検出部１２１、認識部１２２、および、グループ判定部１２３などを有している。

上記入力部１１１は、画像などの情報を入力するためのインターフェースである。また、上記入力部１１１は、入力した画像情報に対して画像処理を施す機能も有している。すなわち、上記入力部１１１は、上記カメラ１０１から供給される画像情報（カメラ１０１が撮影した画像）を取り込む。上記入力部１１１は、上記カメラ１０１から取得した画像情報に対して所定の画像処理を施し、所定の画像処理を施した画像情報を上記制御部１１２へ供給する。たとえば、上記カメラ１０１から取得する画像情報がアナログ信号である場合、上記入力部１１１は、取り込んだ画像情報をＡ／Ｄ変換することによりデジタル化した画像情報を上記制御部１１２へ供給する。上記入力部１１１は、所定の画像処理を施した画像情報を上記制御部１１２から読出し可能な状態で図示しないバッファメモリに蓄積するようにしても良い。

上記制御部１１２は、ＣＰＵなどの演算処理器（図示しない）、ワーキングメモリ、プログラムメモリおよびデータメモリなどの内部メモリ（図示しない）、各部とのデータの入出力を行うための内部インターフェース（図示しない）などにより構成される。上記制御部１１２では、演算処理器がプログラムメモリなどに記憶されている種々のプログラムを実行することにより種々の機能を実現している。このような機能として、上記制御部１１２は、たとえば、図１に示すような、特徴検出部１２１、認識部１２２およびグループ判定部１２３などの機能を有している。

上記特徴検出部１２１は、上記入力部１１１により上記カメラ１０１から取り込んだ画像情報から顔の特徴情報（生体情報）を検出する処理を行うものである。上記特徴検出部１２１は、上記入力部１１１により取り込んだ入力画像から顔領域の画像を検出する処理（顔検出処理）と、顔検出処理により検出された顔領域の画像から顔の特徴情報を抽出する処理（特徴抽出処理）とを実行する。

上記認識部１２２は、上記カメラ１０１により撮影された人物が上記記憶部１１４に顔の特徴情報（生体情報）が記憶されている人物（登録者）であるか否かを判定する人物の認識処理を行う。すなわち、上記認識部１２２は、上記特徴検出部１２１により検出された顔の特徴情報と記憶部１１４に記憶されている顔の特徴情報とを照合する照合処理と、その照合処理による照合結果に基づいて上記特徴検出部１２１により検出された顔の特徴情報が上記記憶部１１４に記憶されている何れかの顔の特徴情報と一致するか否かを判定する判定処理を行う。

上記グループ判定部１２３は、上記認識部１２２により認識された人物に対するグループを判定する処理を行う。すなわち、上記グループ判定部１２３では、上記認識部１２２により認識された各人物をグループの候補に分け、グループ候補の各人物についてグループを判定する。
なお、上記特徴検出部１２１、上記認識部１２２および上記グループ判定部１２３における処理については、後で詳細に説明する。

上記記憶部１１４は、登録者に関する情報を記憶するものである。上記記憶部１１４には、各登録者の生体情報としての顔の特徴情報（あるいは、顔画像）と、各登録者が属するグループを示すグループ情報とが対応づけて記憶される。本第１の実施の形態では、上記記憶部１１４には、上記のような情報が予め記憶されているものとする。上記記憶部１１４に記憶されている情報については、後で詳細に説明する。

上記出力部１１３は、上記認識部１２２による認識結果あるいは上記グループ判定部１２３のグループ判定結果などに基づいて、制御信号あるいは表示データなどの情報をゲート装置１０３あるいは監視装置１０４（外部装置）へ出力するようになっている。たとえば、上記出力部１１３は、上記ゲート装置１０３に対して、上記認識部１２２による認識結果あるいは上記グループ判定部１２３による判定結果などに応じた各通行者に対する通行の可否（ゲートの開閉）を示す制御信号を出力する。また、上記出力部１１３は、上記監視装置１０４に対して、上記認識部１２２による認識結果および上記グループ判定部１２３によるグループ判定の結果などの情報（画像あるいは音声などのデータ）を出力する。この場合、上記出力部１１３は、上記のような情報とともに、上記カメラ１０１により撮影された映像情報を出力するようにしても良い。

次に、上記特徴検出部１２１について詳細に説明する。
上記特徴検出部１２１は、入力画像から顔領域の画像を検出する顔検出処理と、顔領域の画像から顔の特徴情報を抽出する特徴抽出処理とを行う。
まず、上記特徴検出部１２１における上記顔検出処理について詳細に説明する。
上記顔検出処理は、まず、上記入力部１１１により入力した画像（カメラ１０１で撮影された画像）から顔の領域を検出する。顔の領域を検出する手法としては、たとえば、予め用意されいるテンプレートを画像内で移動させながら相関値を求め、最も高い相関値を与える領域を顔領域とする。なお、顔の領域を検出する手法としては、固有空間法、あるいは、部分空間法を利用した顔領域の抽出方法を用いても良い。

上記顔検出処理では、次に、検出された顔の領域の画像において、目、鼻、口などの顔における特定の部位の位置を検出する。その検出方法としては、たとえば、文献［２］（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７年））に開示されている方法などを用いることが可能である。

なお、顔全体ではなく、顔における特定の部位の画像から得られる生体情報を用いて人物の認識を行う人物認識装置では、上記顔検出処理により検出された所望の部位の画像をズームアップし、そのズームアップした画像により生体情報を抽出する処理を行うようにすることも可能である。これは、たとえば、上記顔検出処理により検出された所望の部位の位置をズームアップするように上記カメラ１０１を制御することにより実現可能である。この場合、カメラ１０１は、所望の部位の位置をズームアップした画像を撮影し、その画像を人物認識装置へ供給する。たとえば、虹彩あるいは網膜などの目の画像から得られる生体情報を用いて人物の認識を行う人物認識装置では、上記顔検出処理により検出された目の領域をズームアップし、その目の領域をズームアップした画像を取得することが可能である。

また、上記目、鼻の検出の他に、口領域の検出については、たとえば、文献［３］（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０１回画像センシングシンポジウム予稿集，ｐｐ２１９−２２４（２００４年））の技術を用いることも可能である。
また、指紋あるいは静脈のパターンについても、パターンマッチング等を利用した一般的な認識技術を用いることが可能である。
上述したようないずれの手法であっても、２次元配列状の画像情報を取得し、その画像情報から生体情報を検出することが可能である。

また、上述した処理によれば、１つの画像から１つの顔領域の画像（生体情報）だけを抽出するには、１つの画像全体に対してテンプレートとの相関値を求め、その相関値が最大となる１つの領域の位置とサイズを１つの顔領域として判定すればよい。これに対して、１つの画像から複数の顔領域の画像（生体情報）を抽出するには、１つの画像全体に対する相関値の複数の局所的な最大値を求め、それらの相関値が局所的な最大値となる各領域について他の領域との重なりを考慮して顔領域の候補を絞り込む。さらに、連続して画像（動画）が入力画像として得られる場合、過去の入力画像との関係性（時間的な推移）も考慮することにより、複数の顔領域の候補を絞り込むことも可能となる。

図２は、複数の顔領域が存在する画像の例を示す図である。図２に示すような１つの画像が入力された場合、上記顔検出処理では、図２に破線で示す複数の領域Ａ〜Ｄを、入力画像における顔領域として検出する。すなわち、図１に示すようなシステム構成において、同時に複数の通行者がゲート装置１０３に歩行してきた場合、上記カメラ１０１は、それらの通行者を１つの画像内で同時に撮影する。たとえば、同時に４人の通行者が撮影領域内に存在する場合、上記カメラ１０１は、図２に示すような画像を撮影する。この場合、上記顔検出処理では、各通行者の顔領域として、領域Ａ〜Ｄを検出する。

次に、上記特徴検出部１２１における上記特徴抽出処理について詳細に説明する。
上記特徴検出部１２１おける特徴抽出処理は、上記顔検出処理により検出された顔領域の画像から顔の特徴情報（特徴量）を抽出する処理である。上記特徴抽出処理は、たとえば、上記顔検出処理により検出された顔領域の画像と特定の部位の位置とに基づいて、顔領域の画像を所定の大きさ、かつ、所定の形状（たとえば、ｍピクセル×ｎピクセルの画像）に変換し、その顔領域の画像における各画素の濃淡情報を顔の特徴情報（特徴量）とする。また、ｍピクセル×ｎピクセルの顔領域の画像における各画素の濃淡値を顔の特徴情報は、ｍ×ｎ次元の情報からなる特徴ベクトルとして表される。上記のような顔の特徴情報としての特徴ベクトルは、たとえば、単純類似度法という手法により、別の特徴ベクトルとの類似度が算出される。単純類似度法では、各ベクトルの長さをそれぞれ「１」とするように正規化し、それらの正規化されたベクトル同士の内積を計算する。これにより２つのベクトル間の類似性を示す類似度が求められる。

１つの画像で認識処理を行う場合、人物の顔の特徴情報は、上述した手法により、１つの画像から特徴ベクトルとして抽出される。これに対して、連続した複数の画像（動画像）で認識処理を行う場合、連続する複数の画像から顔の特徴情報を生成する部分空間法という手法が適用可能である。部分空間方法では、まず、連続する複数の入力画像について、それぞれ上述した手法と同様な手法により、ｍ×ｎピクセルの顔領域の画像における濃淡値からなる特徴ベクトルを生成する。連続する複数の入力画像から複数の特徴ベクトルが得られると、部分空間法では、これらの特徴ベクトルの相関行列（または、共分散行列）を求める。相関行例が得られると、部分空間法では、その相関行列について周知のＫ−Ｌ展開を行うことにより正規直交ベクトル（固有ベクトル）を求める。

上記のように求められる正規直交ベクトルにより連続した画像から得られる顔の特徴情報としての部分空間が算出される。上記部分空間は、固有値の大きな順にｋ個選んだ固有ベクトルの集合を用いて表現される。上記部分空間は、複数の入力画像から得られる複数の特徴ベクトルから算出される相関行列Ｃｄを用いて、以下の数式１により固有ベクトルの行列Φとして算出される。

Ｃｄ＝ΦｄΛｄΦｄＴ…（数式１）
上記部分空間が、認識対象とする人物の顔の特徴情報となる。たとえば、図２に示す例のように、複数の顔領域（４人の通行者の顔領域）Ａ〜Ｄが検出された場合、上記特徴抽出処理が、各顔領域Ａ〜Ｄに対して、上述したような処理を繰り返し実行される。これにより、４人の通行者の顔の特徴情報として、４つの部分空間Ａ〜部分空間Ｄが計算される。なお、上記記憶部１１４には、登録者の顔の特徴情報として、上述したような手法により算出される部分空間を登録するようにすれば良い。

次に、上記記憶部１１４に記憶される登録情報について詳細に説明する。
上記記憶部１１４には、入力画像（入力画像から得られる顔の特徴情報）と照合される登録者（たとえば、ゲートの通行が許可されている人物）に関する情報が記憶される。上記記憶部１１４には、登録者に関する情報として、登録者の顔を含む画像（登録用の顔画像）から得られる登録者の顔の特徴情報などが予め記憶される。
図３は、上記記憶部１１４に記憶されている登録者に関する情報（登録情報）の例を示す図である。図３に示す例では、各登録者について、識別情報、顔の特徴情報、顔画像、グループ情報などが記憶部１１４に記憶されている。

上記識別情報は、登録者を識別するための情報である。たとえば、上記識別情報は、登録者の氏名、および、登録者に与えられているＩＤ情報などである。上記顔の特徴情報は、入力画像から得られる顔の特徴情報と照合するための情報（登録者の顔の特徴情報）である。上記顔の特徴情報は、上述した特徴抽出処理に用いられる手法により、登録用の顔画像から生成される情報である。上記顔画像は、登録用の登録者の顔を含む画像（登録用の画像全体、あるいは、登録用の画像から検出された顔領域の画像）である。

なお、上記記憶部１１４には、顔の特徴情報として、連続する複数の登録用の顔画像から生成される部分空間を記憶するようにしても良いし、各登録用の顔画像から生成された特徴ベクトルを記憶するようにしても良いし、特徴抽出処理を実行する前の顔画像（入力画像から検出された顔領域の画像）を記憶するようにしても良いし、あるいは、Ｋ−Ｌ展開を行なう前の相関行列を記憶するようにしても良い。ここでは、連続する複数の画像から得られる部分空間が登録者の顔の特徴情報として記憶部１１４に登録されるものとする。

また、上記記憶部１１４には、１人の登録者に対して１つの顔の特徴情報を記憶するようにしても良いし、１人の登録者に対して複数の顔の特徴情報を記憶するようにしても良い。１人の登録者に対して複数の顔の特徴情報を記憶する場合、上記認識部１２２は、各登録者について、当該登録者の全ての特徴情報と入力画像から得られた顔の特徴情報とを照合するようにしても良いし、入力画像の撮影条件等に基づいて選択した顔の特徴情報と入力画像から得られた顔の特徴情報とを照合するようにしても良い。

上記グループ情報は、登録者が属するグループを示す情報である。上記記憶部１１４には、各登録者に対応づけて、各登録者がどのグループに属しているかを示す情報が記憶されている。さらに、各グループには、重要度、警戒度（要注意度）、補助の必要性（補助の要否）などのグループの特徴を示す情報がグループ番号などに対応づけて記憶されている。図３に示す例では、グループの特徴を示す情報として、「重要顧客」のグループ（グループ番号１）、「社長家族」のグループ（グループ番号２）、「要注意集団」のグループ（グループ番号３）などの情報が記憶されている。

次に、上記認識部１２２について詳細に説明する。
上記認識部１２２は、カメラ１０１が撮影した画像に含まれる顔画像の人物が記憶部１１４に記憶されている何れかの登録者であるか否かを認識するものである。上記認識部１２２では、カメラ１０１が撮影した入力画像から得られる顔の特徴情報と上記記憶部１１４に記憶されている各登録者の顔の特徴情報との類似度を算出する。各登録者の顔の特徴情報との類似度が算出されると、上記認識部１２２は、算出した各類似度に基づいて、入力画像に含まれる顔画像の人物がどの登録者と一致するかを判定する。たとえば、最大類似度が所定の値以上である場合、上記認識部１２２は、入力画像に含まれる顔画像の人物が、最大類似度となった登録者であると認識する（入力画像に含まれる顔画像の人物が最大類似度となった登録者であると認識する）。また、最大の類似度が所定の値未満である場合、上記認識部１２２は、入力画像から検出された顔の特徴情報がどの登録者の顔の特徴情報とも一致しないと認識する（入力画像に含まれる顔画像の人物が登録者でないと認識する）。

顔の特徴情報同士の類似度を算出する方法は、相互部分空間法あるいは複合類似度法などの手法を適用することが可能である。たとえば、相互部分空間法は、文献［４］（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５〜３５２（１９８５年））に記載されている。この相互部分空間法は、部分空間同士の類似度を算出するための手法である。上記相互部分空間法では、２つの部分空間のなす「角度」が類似度として定義される。従って、上記認識部１２２が上記相互部分空間法により類似度を算出する場合、上記記憶部１１４に記憶される登録者の顔の特徴情報、および、上記カメラ１０１から入力する入力画像（連続する複数の画像）から得られる顔の特徴情報は、共に部分空間が用いられる。ここで、入力画像から得られる部分空間は、入力部分空間と称するものとする。また、記憶部１１４に記憶される登録者の顔の特徴情報としての部分空間は、辞書部分空間と称するものとする。

連続する複数の入力画像から得られる相関行列Ｃｉｎと固有ベクトルΦｉｎとには、以下の数式２に示すような関係式が成立する。従って、入力部分空間Φｉｎは、以下の数式２に示す相関行列Ｃｉｎと国有ベクトルΦｉｎとの関係式により算出される。

Ｃｉｎ＝ΦｉｎΛｉｎΦｉｎＴ…（数式２）
従って、入力画像に含まれる顔画像の人物（入力画像群から得られる顔の特徴情報）と登録者（登録者の顔の特徴情報）との類似度は、入力部分空間Φｉｎと辞書部分空間Φｄとの類似度（０〜１）として算出される。

また、各入力画像（１フレームの画像）に複数の人物の顔画像が存在する場合、上記認識部１２２は、それぞれの顔画像から得られる顔の特徴情報と上記記憶部１１４に記憶されている各登録者の顔の特徴情報との類似度を算出する。すなわち、上記認識部１２２は、入力画像に含まれる複数の顔画像から得られる複数の顔の特徴情報と上記記憶部１１４に記憶されている各登録者の顔の特徴情報との類似度を総当りで算出する。これにより、上記認識部１２２は、入力画像に含まれる全ての人物の顔画像と登録者の顔画像との認識結果を得ることができる。たとえば、上記カメラ１０１がＸ人の人物の顔を撮影した場合、Ｙ人の登録者の登録情報が存在すれば、上記認識部１２２は、Ｘ×Ｙ回の類似度の演算処理を行なう。これにより、上記認識部１２２は、Ｘ人全員に対する認識結果を得ることができる。

また、ｍ個の入力画像から得られた入力部分空間がどの登録者の辞書部分空間とも一致しない場合、上記認識部１２２では、次に取得する入力画像（ｍ＋１個目のフレーム画像）により更新された入力部分空間により再度認識処理（類似度の算出処理）を実行するようにしても良い。この場合、入力部分空間の更新は、取得した入力画像から得られる特徴ベクトルを過去の複数のフレームで作成された相関行列の和に追加し、再度固有ベクトルの計算することにより可能となる、
すなわち、上記カメラ１０１が連続的に画像を撮影する場合（上記カメラ１０１が通行者の顔画像を連続して撮影する場合）、上記通行者認識装置１０２では、上記カメラ１０１から順次取得する画像により入力部分空間を更新しながら認証処理を実行することが可能である。この場合、徐々に入力部分空間を構成するための入力画像の数が多くなるため、徐々に精度が高くなることが期待できる。

次に、上記グループ判定部１２３について詳細に説明する。
上記グループ判定部１２３は、上記認識部１２２で認識された複数の人物についてグループを判定するグループ判定処理（組合せ判定処理）を行う。上記グループ判定部１２３は、上記認識部１２２で認識された複数の人物を所定の条件に応じてグループ分けしたグループ候補を判定する。さらに、上記グループ判定部１２３は、グループ候補の各人物（登録者）のグループ情報に基づいてグループ（グループ名、人数など）を判定する。

グループ候補の判定では、所定の条件に基づいてグループ候補となる複数の人物が選出される。たとえば、グループ候補としては、１つの画像から検出された複数の人物（同時に上記カメラ１０１で撮影された複数の人物）をグループの候補としたり、所定時間内に上記カメラ１０１で撮影された画像から検出された人物をグループの候補としたりする。また、複数の箇所に複数のカメラ１０１が設置されている運用形態では、複数の場所で同時間帯に撮影された画像から検出された人物をグループ候補として判定するようにしても良い。

また、グループの判定は、グループ候補と判定された各人物（登録者）のグループ情報に基づいて判定される。すなわち、グループ候補の各人物は、グループ情報により最終的にグループが判定される。このようなグループ判定の結果としては、どのグループが何人というような情報が得られる。上記グループ判定部１２３では、上記のようなグループ判定の結果を上記出力部１１３へ供給するようになっている。

図４は、グループ判定処理の結果の例を示す図である。
図４に示す例では、ゲート１に設置されているカメラが撮影した画像から、グループ１の人物が３名、グループ２の人物が２名、認識されたことを示している。たとえば、図２に示すような１つの画像から検出された４人の顔画像が図３に示す人物（登録者）Ａ〜Ｄの顔画像であると認識された場合、図３を参照すれば、グループ判定処理では、人物Ａ、Ｂ、Ｃがグループ１と判定され、人物Ｃ、Ｄがグループ２と判定される。この場合、グループ判定の結果は、図４に示すように、グループ１の人物が３名、グループ２の人物が２名となる。

なお、図４に示すグループ判定の結果は、全ての人物が登録者であると認識された場合の例である。もし事前に登録されている登録者でない人物がゲート装置１０３を通行しようとした場合、当該人物は、当然ながら、登録者として認識されない。この場合、登録者として認識されなかった人物は、未登録者としてカウントアップされる。なお、未登録者としてカウントアップされた未登録者の数は、グループ判定の結果として上記出力部１１３により出力される。

また、図４に示すようなグループ判定結果を監視装置１０４に表示すれば、上記監視装置１０４の監視員は、グループ１に属する３名の人物とグループ２に属する２名の人物とが上記カメラ１０１で撮影されたということを迅速かつ容易に認知できる。この結果として、監視員は、各グループの人物への応対などをスムーズに行なうことができる。また、監視員は、各グループの人数に合わせた適切な応対などもスムーズに実行できる。

次に、上記出力部１１３について詳細に説明する。
上記出力部１１３は、当該通行者認識装置１０２における処理結果を外部へ出力するためのインターフェースである。上記出力部１１３が外部へ出力する情報は、システム全体の構成あるいは運用形態に応じて適宜設定できる。上記出力部１１３は、上記カメラ１０１で撮影された画像、上記特徴検出部１２１から得られる顔領域の画像あるいは顔の特徴情報、上記グループ判定部１２３によるグループ判定の結果などの情報を外部装置（ゲート装置１０３、監視装置１０４）へ出力可能である。たとえば、上記出力部１１３は、上記認識部１２２の認識結果に応じたゲートの開閉を指示する制御信号を上記ゲート装置１０３へ出力する。また、上記出力部１１３は、上記カメラ１０１で撮影された画像、上記特徴検出部１２１から得られる顔領域の画像あるいは顔の特徴情報、上記グループ判定部１２３によるグループ判定の結果などの情報を表示データとして監視装置１０４へ出力する。

次に、上記第１の実施の形態に係る通行者認識システム１００における処理の流れについて説明する。
図５は、第１の実施の形態に係る通行者認識システム１００における処理を説明するためのフローチャートである。
まず、上記カメラ１０１では、所定の撮影領域の画像を撮影しているものとする。図１に示すような構成例では、ゲート装置１０３が形成している通路を撮影している。上記カメラ１０１が撮影した画像は、上記通行者認識装置１０２の入力部１１１に供給される。上記通行者認識装置１０２の入力部１１１では、上記カメラ１０１で撮影された画像を入力画像として順次入力する（ステップＳ１０１）。上記通行者認識装置１０２の制御部１１２では、上記特徴検出部１２１により入力画像について人物の顔を検出する処理を行う（ステップＳ１０２）。上記特徴検出部１２１により入力画像から人物の顔が検出された場合、上記特徴検出部１２１は、顔検出処理および顔の特徴情報を抽出する特徴抽出処理を行う。これにより、上記特徴検出部１２１は、入力画像に含まれる人物の顔の特徴情報を検出する（ステップＳ１０３）。

また、顔の特徴情報として上記入力部分空間を生成する場合、上記特徴検出部１２１は、順次入力される入力画像から入力部分空間を生成する。また、１つの入力画像に複数の人物の顔画像が含まれている場合、上記特徴検出部１２１は、当該入力画像から検出される全ての人物の顔画像からそれぞれ顔の特徴情報を検出する。

上記特徴検出部１２１により入力画像から顔の特徴情報を検出すると、上記認識部１２２は、入力画像から検出された顔の特徴情報が、上記記憶部１１４に記憶されている何れかの登録者の顔の特徴情報と一致するかを判定する。つまり、上記認識部１２２では、入力画像に含まれる顔画像の人物が何れかの登録者であるかを判定する人物の認識処理を行う（ステップＳ１０４）。上記認識部１２２による認識処理では、入力画像から検出された顔の特徴情報の人物がどの登録者であるか、あるいは、未登録者であるかを示す情報が人物の認識結果として得られる。上記認識部１２２による認識処理の結果は、上記出力部１１３へ供給されるとともに上記グループ判定部１２３に供給される。なお、上記出力部１１３では、認識結果に応じてゲート装置１０３にゲートの開閉を示す制御信号を出力したり、入力画像とともに認識結果を監視装置１０４に出力したりする。

上記グループ判定部１２３は、上記認識部１２２から供給される認識結果を図示しない内部メモリに記憶するものとする。なお、上記グループ判定部１２３に供給される認識処理の結果としては、人物の認識結果（どの登録者であるか、あるいは、未登録者であるか）を示す情報とともに、当該人物の顔画像を検出した入力画像の撮影時間などの情報も含まれるものとする。

上記グループ判定部１２３では、上記認識部１２２により認識された人物についてグループ判定を行う。ここでは、同時に撮影された複数の人物（１つの入力画像が検出された複数の人物）あるいは所定時間内に撮影された人物をグループ候補とするものとする。また、上記グループ判定部１２３には、上記認識部１２２から各人物の認識結果が順次供給されるものとする。上記認識部１２２により認識結果が供給されると、上記グループ判定部１２３は、当該認識結果が得られた入力画像から別の人物の顔が検出されているか否かを判定する。つまり、上記グループ判定部１２３では、１つの入力画像から複数の人物（同時に撮影された複数の人物）の顔が検出されているか否かを判定する（ステップＳ１０５）。さらに、上記グループ判定部１２３は、所定時間内に撮影された入力画像から複数の人物の顔が検出されているか否かを判定する（ステップＳ１０６）。

１つの入力画像あるいは所定時間内に撮影された入力画像から複数の人物の顔が検出されたと判定した場合（ステップＳ１０５でＹＥＳ、あるいは、ステップＳ１０６でＹＥＳ）、上記グループ判定部１２３は、それらの人物をグループ候補とする（ステップＳ１０７）。認識された人物がグループ候補と判定された場合、上記グループ判定部１２３は、当該人物のグループ情報に基づいて当該人物が属するグループを判定する（ステップＳ１０８）。グループを判定すると、上記グループ判定部１２３は、上記グループ候補における各グループごとの人数をカウントアップする（ステップＳ１０９）。認識された人物をグループ情報に基づいてカウントアップすると、上記グループ判定部１２３は、当該グループ候補における各グループごとの人数を示す情報をグループ判定の結果として出力部１１３へ出力する（ステップＳ１１０）。

たとえば、図２に示すように１つの入力画面から図３に示す人物Ａ、Ｂ、Ｃ、Ｄの４人が順に認識された場合、上記グループ判定部１２３は、人物Ａ、Ｂ、Ｃ、Ｄの４人をグループ候補とする。さらに、上記グループ判定部１２３は、各人物の認識結果が得られるごとに、各人物のグループの人数をカウントアップする。すなわち、図３に示す登録情報に従えば、上記グループ判定部１２３は、人物Ａが認識された場合、グループ１をカウントアップし、人物Ｂが認識された場合、グループ１をカウントアップし、人物Ｃが認識された場合、グループ１およびグループ２をカウントアップし、人物Ｄが認識された場合、グループ１をカウントアップする。このようなグループ判定の結果としては、図４に示すような情報が得られる。

また、所定時間内に撮影された入力画像から複数の人物の顔が検出されたと判定した場合（ステップＳ１０６でＮＯ）、上記グループ判定部１２３は、上記認識部１２２により認識された人物についてグループ候補なしと判定する（ステップＳ１１１）。この場合、当該通行者認識装置１０２は、上記ステップＳ１０１へ戻り、上記処理を繰り返す。

上記のような第１の実施の形態では、予め登録者の顔の特徴情報とグループ情報とを対応づけて記憶部に記憶しておき、カメラ１０１が撮影した画像から通行者の顔の特徴情報を検出し、検出した通行者の顔の特徴情報と記憶部に記憶されている登録者の顔の特徴情報とを照合することにより通行者を認識し、さらに、認識された通行者を上記記憶部に記憶されている各登録者のグループ情報に基づいてグループ分けし、グループ分けした結果を外部装置へ出力する。

これにより、上記第１の実施の形態によれば、上記通行者認識装置が、所定の場所（カメラが撮影する領域）に「どのようなグループの人物が何人」現れたのかを監視装置などの外部装置へ通知できる。これにより、上記外部装置では、所定の場所に「どのようなグループの人物が何人」現れたのかを監視者に報知することが可能となる。この結果として、たとえば、重要顧客のグループが現れた場合、監視者は、来客に対する応対の準備を迅速に行うことができる。また、要注意人物のグループが現れた場合、監視者は、警戒のための警備員を配備したり、監視映像の記録をスタートしたりするなどの対応が迅速に行える。また、要注意人物を含むグループについては、登録者であっても、ゲート装置のゲートを閉じるなどの制御を行うことも可能となる。

次に、第２の実施の形態について説明する。
図６は、第２の実施の形態に係る人物認識装置としての通行者認識装置２０２を含む通行者認識システム２００の構成例を概略的に示すものである。
図６に示すように、通行者認識システム２００は、カメラ２０１、通行者認識装置２０２、および、ゲート装置２０３、監視装置２０４などにより構成されている。また、上記通行者認識装置２０２は、入力部（画像入力部）２１１、制御部２１２、出力部２１３、および、記憶部２１４などにより構成されている。さらに、上記制御部２１２は、特徴検出部２２１、認識部２２２、および、グループ判定部２２３などを有している。

なお、図６に示す通行者認識システム２００における、カメラ２０１、ゲート装置２０３、監視装置２０４、入力部（画像入力部）２１１、出力部２１３、特徴検出部２２１および認識部２２２は、図１に示す通行者認識システム１００における、カメラ１０１、ゲート装置１０３、監視装置１０４、入力部（画像入力部）１１１、出力部１１３、特徴検出部１２１および認識部１２２の構成とほぼ同様な構成であるため、詳細な説明を省略するものとする。

この第２の実施の形態に係る通行者認識システム２００と第１の実施の形態で説明した通行者認識システム１００とは、各人物をグループ分けするための情報が異なっている。第１の実施の形態に係る通行者認識システム１００では、各人物をグループ分けするための情報として、各登録者のグループ名などを示すグループ情報が登録されているものとしている。このグループ情報は、直接的に各人物をグループ分けする情報である。このため、通行者認識システム１００では、予め各登録者をグループ分けして登録しておき、その情報を記憶部に記憶しておく必要がある。

これに対して、第２の実施の形態に係る通行者認識システム２００では、各人物をグループ分けするための情報として、各登録者の属性情報が登録されているものとする。従って、通行者認識システム２００では、各登録者の属性情報に基づいて各人物のグループを判定する。また、上記属性情報は、種々の情報を登録することが可能である。上記属性情報としては、たとえば、年齢、性別、重要度、警戒度、補助の要否などの情報が考えられる。このような属性情報のうちグループ分けの対象とする情報を設定しておけば、上記通行者認識装置２０２では、設定された情報に応じてグループ分けした情報をグループ判定の結果として出力する。たとえば、グループ分けの情報として年齢あるいは性別を設定しておけば、上記通行者認識装置２０２は、年齢あるいは性別でグループ分けしたグループ判定の結果を出力する。また、グループ分けの情報として重要度、警戒度あるいは補助の要否を設定しておけば、上記通行者認識装置２０２は、重要度、警戒度あるいは補助の要否でグループ分けしたグループ判定の結果を出力する。

以下、上記通行者認識システム２００の各部について詳細に説明する。
まず、上記記憶部２１４は、識別情報、顔の特徴情報、顔画像、属性情報（年齢、性別、重要度、警戒度、補助の要否など）が各登録者ごとの登録情報として記憶される。上記識別情報、顔の特徴情報および顔画像は、第１の実施の形態で説明した上記記憶部１１４に記憶される識別情報、顔の特徴情報および顔画像情報と同様である。すなわち、上記記憶部２１４には、上記第１の実施の形態で説明した記憶部１１４に記憶されるグループ情報の代わりに、人物属性情報が記憶されている点が異なっている。
図７は、上記記憶部２１４に記憶される各登録者ごとの登録情報の例を示す図である。図７に示す例では、各登録者ごとに、識別情報、顔の特徴情報および顔画像などの情報と対応づけられた属性情報として、年齢、性別、重要度、警戒度、補助の要否などの情報が記憶されている。

上記グループ判定部２２３は、上記第１の実施の形態で説明したグループ判定部１２３と同様にグループ候補の判定とグループ判定とを行う。グループ候補は、上記グループ判定部１２３と同様な処理により判定される。上記グループ判定部２２３におけるグループ判定では、グループ候補の各人物（登録者）を各人物（登録者）の属性情報のうち所定の情報に基づいてグループ分けし、グループ分けした各グループの人数をカウントアップする。また、上記グループ判定部２２３は、グループ分けのための情報として、上記記憶部２１４に記憶されている属性情報のうち特定の情報（１つ又は複数）が予め設定されているものとする。ただし、グループ分けの情報は、操作員が適宜設定するようにしても良いし、上記監視装置２０４の図示しない操作部により監視員が適宜設定するようにしても良い。

図８は、上記グループ判定部２２３におけるグループ判定処理の結果の例を示す図である。
図８に示す例では、ゲート１に設置されているカメラが撮影した画像から、２名の重要人物と補助が必要な１名の人物とが認識されたことを示している。ここで、図７に示すような登録情報が記憶部２１４に記憶されているとすれば、図８に示すようなグループ判定の結果は、人物Ｂ、Ｃ、Ｄがグループ候補として検出された場合に得られる。これは、図７に示す例において、人物Ｃおよび人物Ｄの属性情報では重要度が重要となっており、人物Ｂの属性情報では要補助となっているためのである。

また、図８に示すようなグループ判定結果を監視装置２０４に表示すれば、上記監視装置２０４の監視員は、２名の重要人物と１名の要補助の人物とが上記カメラ２０１で撮影されたという情報が容易に認知できる。この結果として、監視員は、重要人物に対してスムーズ、かつ、適切な対応ができ、要補助の人物に対して車椅子の準備あるいは道案内などの適切な対応できる。

次に、上記第２の実施の形態に係る通行者認識システム２００における処理の流れについて説明する。
図９は、第２の実施の形態に係る通行者認識システム２００における処理を説明するためのフローチャートである。
なお、図９に示すステップＳ２０１〜Ｓ２０７、Ｓ２０９〜Ｓ２１１の各処理は、図５に示すステップＳ２０１〜Ｓ２０７、Ｓ２０９〜Ｓ２１１の各処理と同様であるための詳細な説明を省略する。

すなわち、上記通行者認識装置２０２では、上記認識部２２２により認識された人物をグループ候補とした場合、上記グループ判定部１２３により当該人物の属性情報のうち所定のグループ分けの情報に基づいて当該人物のグループを判定する（ステップＳ２０８）。各人物のグループを判定すると、上記グループ判定部１２３は、上記グループ候補における各グループごとの人数をカウントアップする（ステップＳ２０９）。なお、ここでは、グループ候補ごとに各グループの人数をカウントアップしている。上記グループ判定部１２３は、当該グループ候補における各グループごとの人数を示す情報をグループ判定の結果として出力部１１３へ出力する（ステップＳ２１０）。

たとえば、図７に示す人物Ｂ、Ｃ、Ｄの３人がグループ候補として判定された場合、上記グループ判定部１２３は、各人物の属性情報に基づいてグループ分けし、各グループの人数をカウントアップする。すなわち、図７に示す登録情報に従えば、上記グループ判定部１２３は、人物Ｂが認識された場合、要補助の人数（要補助のグループ）をカウントアップし、人物Ｃが認識された場合、重要人物の人数（重要人物のグループ）をカウントアップし、人物Ｄが認識された場合、重要人物の人数（重要人物のグループ）をカウントアップする。このようなグループ判定の結果としては、図８に示すような情報が得られる。

上記のような第２の実施の形態に係る通行者認識システムでは、予め登録者の顔の特徴情報と種々の属性情報とを対応づけて記憶部に記憶しておき、カメラ１０１が撮影した画像から通行者の顔の特徴情報を検出し、検出した通行者の顔の特徴情報と記憶部に記憶されている登録者の顔の特徴情報とを照合することにより通行者を認識し、さらに、認識された通行者を上記記憶部に記憶されている各登録者の属性情報に基づいてグループ分けし、グループ分けした結果を外部装置へ出力する。

これにより、上記第２の実施の形態によれば、上記通行者認識装置が、所定の場所（カメラが撮影する領域）に「どのような人物の何人からなる集団」が現れたのかを監視装置などの外部装置へ通知できる。これにより、上記外部装置では、所定の場所に「どのような人物の何人からなる集団」が現れたのかを監視者に報知することが可能となる。この結果として、たとえば、重要人物のグループが現れた場合、監視者は、来客に対する応対の準備を迅速に行うことができる。また、要注意人物のグループが現れた場合、監視者は、警戒のための警備員を配備したり、監視映像の記録をスタートしたりするなどの対応が迅速に行える。また、要注意人物などの特定の属性情報の人物を含むグループについては、登録者であっても、ゲート装置２０３のゲートを閉じるなどの制御を行うことも可能となる。

次に、第３の実施の形態について説明する。
図１０は、第３の実施の形態に係る通行者認識システム３００の構成例を概略的に示すものである。
この第３の実施の形態では、図１０に示すように、カメラ３０１、複数の通行者認識装置３０２Ａ、３０２Ｂ、複数のゲート装置３０３Ａ、３０３Ｂ、監視装置３０４、および、サーバ装置３０５などにより構成されている通行者認識システム３００を想定するものとする。また、各通行者認識装置３０２（３０２Ａ、３０２Ｂ）は、入力部（画像入力部）３１１（３１１Ａ、３１１Ｂ）、制御部３１２（３１２Ａ、３１２Ｂ）及び出力部３１３（３１３Ａ、３１３Ｂ）などにより構成されている。さらに、各制御部３１２（３１２Ａ、３１２Ｂ）は、特徴検出部３２１（３２１Ａ、３２１Ｂ）、認識部３２２（３２２Ａ、３２２Ｂ）及びグループ判定部３２３（３２３Ａ、３２３Ｂ）などを有している。
なお、上記のような通行者認識システム３００の構成は、運用形態等に応じて適宜変形可能である。たとえば、上記サーバ装置３０５の各構成は、何れかの通行者認識装置３０２に設けるようにしても良い。

また、図１０に示す通行者認識システム３００における、カメラ３０１（３０１Ａ、３０１Ｂ）、ゲート装置３０３（３０３Ａ，３０３Ｂ）、入力部３１１（３１１Ａ，３１１Ｂ）、出力部３１３（３１３Ａ，３１３Ｂ）、特徴検出部３２１（３２１Ａ，３２１Ｂ）、認識部３２２（３２２Ａ，３２２Ｂ）およびグループ判定部３２３（３２３Ａ，３２３Ｂ）は、それぞれ図１に示す通行者認識システム１００における、カメラ１０１、ゲート装置１０３、入力部１１１、出力部１１３、特徴検出部１２１、認識部１２２、およびグループ判定部１２３の構成と同様であるため、詳細な説明を省略する。

以下、上記通行者認識システム３００の各部について詳細に説明する。
上記通行者認識システム３００では、通行者認識装置３０２Ａおよび３０２Ｂがサーバ装置３０５に接続されている。上記サーバ装置３０５は、各種のデータを蓄積および管理するデータサーバである。上記サーバ装置３０５は、図１０に示すように、記憶部３３１、履歴データベース３３２、および、関連性判定部３３３を有している。また、上記サーバ装置３０５は、通行者認識装置３０２Ａ、通行者認識装置３０２Ｂ、および、監視装置３０４とのデータ通信を行うためのインターフェース（図示しない）を有している。

上記記憶部３３１は、上記第１の実施の形態で説明した記憶部１１４と同様な各登録者に関する登録情報（識別情報、顔の特徴情報、顔画像、グループ情報等）が記憶されるものとする。ただし、上記記憶部３３１に記憶される登録情報は、適宜、書換え可能な状態となっているものとする。上記記憶部３３１に記憶されている登録情報は、２つの通行者認識装置３０２Ａおよび３０２Ｂにおける人物の認識処理あるいはグループ判定処理などで使用される情報である。このため、上記記憶部３３１に記憶されている登録情報は、上記通行者認識装置３０２Ａあるいは３０２Ｂにより適宜読み出されるようになっている。

上記履歴データベース３３２は、上記通行者認識装置３０２Ａあるいは３０２Ｂによるに認識結果などの情報を履歴情報として記憶するようになっている。上記履歴データベース３３２に記憶される履歴情報としては、たとえば、人物の認識結果（認識された人物を示す情報、撮影された場所（ゲート）を示す情報、認識（撮影）された日時などの情報が記憶される。

上記関連性判定部３３３は、履歴データベース３３２に記憶される情報（各通行者認識装置３０２Ａ、３０２Ｂで得られた認識結果等の情報）に基づいて各人物間の関連性（グループらしさ）を判定するものである。上記関連性判定部３３３による判定結果は、上記記憶部３３１に記憶されている各登録者のグループ情報に適宜反映される。

すなわち、上記関連性判定部３３３は、予め設定されている条件に基づいて各通行者認識装置３０２Ａ、３０２Ｂで認識された各人物間の関連性を判定する。認識された複数の人物間の関連性を判定するための条件としては、たとえば、「同時に撮影された人物同士であるか」、あるいは、「所定時間内に連続して撮影された人物同士であるか」などが設定可能である。また、上記関連性判定部３３３では、認識された各人物について他の人物との関連性の度合いを関連性の評価値として判定し、その関連性の評価値（関連性を示す値）をデータテーブル（相関マップ）３３３ａに各人物ごとに蓄積し、蓄積された評価値に基づいて各人物のグループを判定する。

たとえば、「同時」に撮影された人物間の関連性の評価値と「所定時間内に連続」して撮影された人物間の関連性の評価値とは、それぞれ別の値（重み付けした値）で設定するようにしても良い。この場合、上記関連性判定部３３３は、あるカメラで「同時」に撮影された人物間については「グループの可能性が高い（関連性が高いため、評価値を最高値とする）」と判定し、あるカメラで「所定時間内に連続」して撮影された人物間については「グループの可能性がある（関連性が低いため、評価値を低くする）」と判定し、それ以外の人物（所定時間以上経過した後に撮影された人物）については「グループでない（関連性がないため、評価値なしとする）」と判定する。

さらに、関連性の評価値は、連続して各人物が撮影された時間間隔に応じて段階的に設定されるようにしても良い。たとえば、関連性の評価値は、同時に撮影された人物間については第１の値（レベル３；たとえば、評価値が「３」）とし、第１の時間（たとえば、１分）内に撮影された人物間については第２の値（レベル２；たとえば、評価値が「２」）とし、第１の時間から第２の時間（たとえば、５分）までに撮影された人物間については上記第２の値よりも低い第３の値（レベル１；たとえば、評価値が「１」）とし、第２の時間以上の間隔で撮影された人物間については上記第３の値よりも低い第４の値（レベル０；たとえば、評価値が「０」）とするように設定することも可能である。

図１１は、通行者認識装置による認識結果の履歴としての履歴情報の例を示す図である。図１２は、図１１に示す履歴情報に対する関連性の評価例を示す図である。
図１２に示す例では、図１１に示すような履歴情報に対して、上記関連性判定部３３３が各認識結果とその直前の認識結果とを比較することにより、各人物間の関連性を評価している。つまり、上記関連性判定部３３３は、各通行者認識装置３０２で得られる認識結果について、順次、その直前の認識結果とを比較することにより、各人物間の関連性を評価している。なお、ここでは、上述したような条件に基づいて、図１１に示す履歴情報の各認識結果を評価する場合について説明とする。

まず、上記関連性判定部３３３は、履歴番号２の認識結果と、その直前の履歴番号１の認識結果とを比較する。履歴番号２の認識結果とその直前の履歴番号１の認識結果とを比較すると、上記関連性判定部３３３は、それらの撮影間隔（日時の差分）が第１の時間（１分）以内であるため、人物Ｂと人物Ａとの関連性の評価値を「２」とする。

また、上記関連性判定部３３３は、履歴番号３の認識結果とその直前の履歴番号２の認識結果とを比較する。履歴番号３の認識結果とその直前の履歴番号２の認識結果とを比較すると、上記関連性判定部３３３は、それらの撮影間隔が第２の時間（１分）以内であるため、人物Ｃ、Ｄ、Ｅと人物Ｂ（ＣとＢ、ＤとＢ、ＥとＢ）の関連性の評価値をそれぞれ「１」と判定する。また、上記関連性判定部３３３は、履歴番号３の認識結果では人物Ｃ、Ｄ、Ｅが同時に撮影されているため、人物Ｃ、Ｄ、Ｅ同士（ＣとＤ、ＤとＥ、ＥとＣ）の関連性の評価値をそれぞれ「３」と判定する。

また、上記関連性判定部３３３は、履歴番号４の認識結果について、その直前の履歴番号３の認識結果とを比較する。履歴番号４の認識結果とその直前の履歴番号３の認識結果とを比較すると、上記関連性判定部３３３は、撮影間隔が撮影間隔が第２の時間（５分）以上であるため、人物Ｆと人物Ｃ、Ｄ、Ｅ（ＦとＣ、ＦとＤ、ＦとＥ）の関連性を「０」と判定する。
上記のような関連性の判定結果を整理すると、図１２に示すような相関性を示すデータテーブル（相関マップ）３３３ａが生成される。図１２に示すような相関マップによれば、人物Ａ〜Ｆの関連性が評価できる。さらに、上記のような関連性の評価値を所定期間蓄積した相関マップ３３３ａによれば、所定期間における各人物間の相関性を示す情報（グループ分けを示す情報）が作成される。

なお、図１２に示す例では、予め記憶部３３１に登録情報が記憶されている登録者であると認識された人物について関連付けを行う場合について説明している。このような関連性の判定は、未登録者(登録者でないと判定された人物)についても適用できる。この場合、未登録者と判定された人物については、その人物に対してＩＤ番号を付与し、そのＩＤ番号に対応づけて当該人物の顔の特徴情報を仮登録者の登録情報として記憶部３３１に記憶しおく。各認識装置では、上記のように登録した仮登録者の登録情報も用いて人物の認識処理を行う。これにより、次に当該人物（仮登録者）が何れかのカメラで撮影された場合、当該通行者認識システムは、当該人物が認識される。このように仮登録者が認識されれば、上記通行者認識システムでは、未登録者についても、上記のような他者との関連性を判定することが可能となる。

また、上記のように得られた各人物間の関連性は、特定の条件に基づいて各登録者のループ情報として登録するようにしても良い。たとえば、上記サーバ装置３０５の関連性判定部３３３は、上記相関マップ３３３ａにおける関連性の評価値が所定の閾値を超えたか否かを判定する。この判定により関連性の評価値が所定の閾値を超えた人物同士が判定された場合、上記関連性判定部３３３は、それらの人物同士をグループと判定し、それらの人物（登録者）のグループ情報を更新するようにする。この場合、人手を介さずに、関連性の評価値に基づく各登録者のグループ情報の更新が可能となる。

また、上記サーバ装置３０５の関連性判定部３３３は、上記のような相関マップにおいて関連性の評価値が所定の閾値を超えた人物同士について、上記監視装置３０４などに「グループである可能性が高い」という旨の案内を表示させるようにしても良い。この場合、監視員あるいはシステム管理者が上記のような案内を目視で確認し、その確認結果に基づいてそれらの人物をグループとして登録するか否かを操作部３０４ａにより指示するようにしても良い。この場合、上記サーバ装置３０５の関連性判定部３３３では、監視員あるいはシステム管理者からの指示に応じて各人物のグループ情報を更新する。この場合、監視員あるいはシステム管理者が確認した後に、各登録者のグループ情報が更新されるため、確実なグループの管理が可能となる。

次に、上記関連性判定部３３３による関連性の判定処理の流れについて説明する。
図１３は、上記関連性判定部３３３による関連性の判定処理の例を説明するためのフローチャートである。なお、上記関連性の判定処理は、各通行者認識装置３０２から認識結果を受信することごとに、実施するようにしても良いし、各通行者認識装置３０２による認識結果を履歴データベース３３２に蓄積し、定期的に履歴データベース３３２に蓄積された認識結果を読み出して、実施するようにしても良い。

まず、上記サーバ装置３０５の関連性判定部３３３が各通行者認識装置３０２による認識結果を取得したものとする（ステップＳ３０１）。すると、上記関連性判定部３３３は、同時に認識された複数の人物が存在するか否かを判定する（ステップＳ３０２）。この判定により同時に複数の人物が認識されたと判定した場合（ステップＳ３０２、ＹＥＳ）、上記関連性判定部３３３は、同時に認識された各人物同士の関連性が第１と値であると評価する（ステップＳ３０３）。この関連性の評価値は、当該各人物間の関連性を示す相関マップ３３３ａに蓄積（投票）される。

さらに、上記関連性判定部３３３は、取得した認識結果と直前の認識結果とを比較することにより、それらの認識結果における日時（撮影日時）の間隔が第１の時間以内であるか否かを判定する（ステップＳ３０４）。つまり、上記関連性判定部３３３は、第１の時間以内で連続して認識された人物が存在するか否かを判定する。取得した認識結果と直前の認識結果との間隔が第１の時間内であると判定した場合（ステップＳ３０４、ＹＥＳ）、上記関連性判定部３３３は、取得した認識結果の人物と直前の認識結果の人物との関連性が第２の値であると評価する（ステップＳ３０５）。なお、上記第２の値は、上記第１の値よりも小さい値であるものとする。このような関連性の評価値は、当該人物間（取得した認識結果の人物と直前の認識結果の人物）の関連性を示す相関マップ３３３ａに蓄積（投票）される。

取得した認識結果と直前の認識結果との間隔が第１の時間以内でないと判定した場合（ステップＳ３０４、ＮＯ）、上記関連性判定部３３３は、取得した認識結果と直前の認識結果とを比較することにより、それらの認識結果における日時（撮影日時）の間隔が第２の時間内であるか否かを判定する（ステップＳ３０６）。つまり、上記関連性判定部３３３は、第１の時間以上かつ第２の時間以内で連続して認識された人物が存在するか否かを判定する。取得した認識結果と直前の認識結果との間隔が第２の時間以内であると判定した場合（ステップＳ３０６、ＹＥＳ）、上記関連性判定部３３３は、取得した認識結果の人物と直前の認識結果の人物との関連性が第３の値であると評価する（ステップＳ３０７）。なお、上記第３の値は、上記第２の値よりも小さい値であるものとする。このような関連性の評価値は、当該人物間（取得した認識結果の人物と直前の認識結果の人物）の関連性を示す相関マップ３３３ａに蓄積（投票）される。

取得した認識結果と直前の認識結果との間隔が第２の時間以内でないと判定した場合（ステップＳ３０６、ＮＯ）、上記関連性判定部３３３は、取得した認識結果の人物と直前の認識結果の人物とは関連性がないと評価する（ステップＳ３０８）。この場合、当該人物間（取得した認識結果の人物と直前の認識結果の人物）の関連性を示す相関マップ３３３ａには評価値を蓄積（投票）しない。

さらに、上記関連性判定部３３３では、上記相関マップ３３３ａにおいて評価値が所定の値を超えたものを判定する（ステップＳ３０９）。この判定により評価値が所定の値を超えたものを判定した場合（ステップＳ３０９、ＹＥＳ）、上記関連性判定部３３３は、関連性の評価値が所定の値を超えた各人物のグループ情報を更新する処理を行う（ステップＳ３１０）。
上述したように、上記ステップＳ３１０の処理において、上記関連性判定部３３３は、上記記憶部３３１に記憶されている関連性の評価値が所定の値を超えた各人物のグループ情報を更新するようにしても良いし、上記監視装置３０４に関連性の評価値が所定の値を超えた各人物のグループ情報を通知して当該監視装置３０４からのグループ情報の更新要求に応じてグループ情報を更新するようにしても良い。
また、上記ステップＳ３０９及びＳ３１０の処理は、上記相関マップ３３３ａに評価値を蓄積するごとに行っても良いし、定期的に行うようにしても良いし、監視員あるいはシステム管理者からの指示に応じて行うようにしても良い。

上記第３の実施の形態に係る通行者認識システムでは、カメラが撮影した画像から検出した通行者の顔の特徴情報と記憶部に予め記憶されている各登録者の顔の特徴情報とを照合することにより通行者を認識し、その認識結果あるいは認識結果の履歴に基づいて複数の通行者間の関連付けを行う。また、上記通行者認識システムでは、上記のような関連付けに基づいて各通行者のグループを判定する。
これにより、上記第３の実施の形態によれば、予めグループとして登録されていない人物同士であっても、関連性を評価することができ、さらには、各人物間の関連性に基づいて各人物をグループ分けすることができる。

次に、第４の実施の形態について説明する。
図１４は、第４の実施の形態に係る通行者認識システム４００の構成例を概略的に示すものである。
この第４の実施の形態では、図１４に示すように、カメラ４０１、複数の通行者認識装置４０２Ａ、４０２Ｂ、複数のゲート装置４０３Ａ、４０３Ｂ、監視装置４０４、および、サーバ装置４０５などにより構成されている通行者認識システム４００を想定するものとする。また、各通行者認識装置４０２（４０２Ａ、４０２Ｂ）は、入力部（画像入力部）４１１（４１１Ａ、４１１Ｂ）、制御部４１２（４１２Ａ、４１２Ｂ）及び出力部４１３（４１３Ａ、４１３Ｂ）などにより構成されている。さらに、各制御部４１２（４１２Ａ、４１２Ｂ）は、特徴検出部４２１（４２１Ａ、４２１Ｂ）、認識部４２２（４２２Ａ、４２２Ｂ）、および、グループ判定部４２３（４２３Ａ、４２３Ｂ）などを有している。
なお、上記のような通行者認識システム４００の構成は、運用形態等に応じて適宜変形可能である。たとえば、上記サーバ装置４０５の各構成は、何れかの通行者認識装置４０２に設けるようにしても良い。

また、図１４に示す通行者認識システム４００における、カメラ４０１（４０１Ａ、４０１Ｂ）、ゲート装置４０３（４０３Ａ，４０３Ｂ）、入力部４１１（４１１Ａ，４１１Ｂ）、出力部４１３（４１３Ａ，４１３Ｂ）、特徴検出部４２１（４２１Ａ，４２１Ｂ）、認識部４２２（４２２Ａ，４２２Ｂ）、および、グループ判定部４２３（４２３Ａ、４２３Ｂ）は、それぞれ図１に示す通行者認識システム１００における、カメラ１０１、ゲート装置１０３、入力部１１１、出力部１１３、特徴検出部１２１、および、認識部１２２、および、グループ判定部１２３の構成と同様であるため、詳細な説明を省略する。

以下、上記通行者認識システム４００の各部について詳細に説明する。
上記通行者認識システム４００では、通行者認識装置４０２Ａおよび４０２Ｂがサーバ装置４０５に接続されている。上記サーバ装置４０５は、各種のデータを蓄積および管理するデータサーバである。上記サーバ装置４０５は、図１４に示すように、記憶部４３１、履歴データベース４３２、および、グループ管理部４３３を有している。また、上記サーバ装置４０５は、通行者認識装置４０２Ａ、通行者認識装置４０２Ｂ、および、監視装置４０４とのデータ通信を行うためのインターフェース（図示しない）を有している。

上記記憶部４３１は、上記第１の実施の形態で説明した記憶部１１４と同様な各登録者に関する登録情報（識別情報、顔の特徴情報、顔画像、グループ情報等）が記憶されるものとする。上記記憶部４３１に記憶されている登録情報は、各通行者認識装置４０２Ａおよび４０２Ｂにおける人物の認識処理あるいはグループ判定処理などで使用される情報である。このため、上記記憶部４３１に記憶されている登録情報は、上記通行者認識装置４０２Ａあるいは４０２Ｂにより適宜読み出されるようになっている。

上記履歴データベース４３２は、上記通行者認識装置３０２Ａあるいは３０２Ｂによるに認識結果などの情報を履歴情報として記憶するようになっている。上記履歴データベース３３２に記憶される履歴情報としては、たとえば、人物の認識結果（認識された人物を示す情報、撮影された場所（ゲート）を示す情報、認識（撮影）された日時）と各人物のグループ判定結果などの情報が記憶される。

上記グループ管理部４３３は、履歴データベース３３２に記憶される情報（各通行者認識装置４０２Ａ、４０２Ｂで得られた人物の認識結果とグループ判定結果）に基づいて各グループの状態を管理するものである。上記グループ管理部４３３は、各人物の各ゲートにおける通行状態を各グループごとに管理する。上記グループ管理部４３３は、各人物の各ゲートにおける通行状態を各グループごとに示すデータテーブル４３３ａを有している。すなわち、上記グループ管理部４３３は、各通行者認識装置４０２による人物の認識結果およびグループ判定結果に基づいて、どのゲートを、どのグループの人物が、何時、何人通過したかを判定する。この判定結果は、グループ管理情報としてデータテーブル４３３ａに記憶される。

さらに、上記グループ管理部４３３は、適宜、上記データテーブル４３３ａに記憶された情報（グループ管理情報）を表示データとして上記監視装置４０４へ出力する。上記グループ管理部４３３は、たとえば、データテーブル４３３ａが更新されるごとに、監視装置４０４へグループ管理情報を出力するようにしても良いし、監視装置４０４からの要求に応じてグループ管理情報を監視装置４０４へ出力するようにしても良い。

図１５は、データテーブル４３３ａに記憶されるグループ管理情報の例を示す図である。
図１５に示す例では、各時刻において、各ゲートを通過した人物を示す情報がグループごとに記憶されている。たとえば、図１５に示す例によれば、グループ１の人物Ａ，Ｂ，Ｃは、１０：００にゲート１を通過し、１０：３０にゲート２を通過し、さらに、１０：４０にゲート２を通過している。１０：４０にゲート２と通過した人物Ａ、Ｂ、Ｃのうち人物Ａ、Ｃは、１１：００にゲート１を通過している。しかし、人物Ｂは、少なくとも１１：３０までには認識されていない。これは、人物Ａ、Ｃと共に行動していた人物Ｂが、ゲート２を通過した後、グループ１の人物Ａ、Ｃと離れて行動していることを意味する。従って、図１５に示すような判定結果によれば、人物Ｂが、グループ１から離れて行動していることを容易に推測できる。

また、図１５に示す例によれば、グループ２の人物Ｄ、Ｅは、１０：１０にゲート１を通過している。また、グループ２の人物Ｄ、Ｅ、Ｆは、１０：５０にゲート２を通過している。これは、１０：１０にゲート１を通過した人物Ｄ、Ｅが人物Ｆと合流して、１０：５０にゲート２を通過したことを意味している。さらに、グループ２の人物Ｄ、Ｅは、１１：３０にゲート２を通過している。これは、１０：５０に人物Ｄ、Ｅと共にゲート２を通過した人物Ｆが、１１：３０には人物Ｄ、Ｅと離れて行動していることを意味する。従って、図１５に示すようなデータテーブルによれば、人物Ｆは、偶発的に、グループ２の人物Ｄ、Ｅと一緒に、ゲート２を通過しただけであることが推測できる。

上記のようなグループ管理によれば、各ゲートを各グループの各人物が、何時、誰と一緒にゲートを通過したことが容易に判別でき、各人物のグループとしての行動が容易に推測できる。たとえば、上記通行者認識システムを適用した人物の監視システムでは、各人物の行動（各ゲートの通行履歴など）だけでなく、各グループごとの行動も監視できる。

上記第４の実施の形態に係る通行者認識システムでは、カメラが撮影した画像から検出した通行者の顔の特徴情報と記憶部に予め記憶されている各登録者の顔の特徴情報とを照合することにより通行者を認識し、さらに、その各通行者のグループを判定する。上記通行者認識システムでは、上記のような人物の認識結果あるいはグループ判定結果を履歴情報としてデータテーブルに記憶し、そのデータテーブルに記憶されたデータを適宜外部装置へ出力するようにしたものである。
これにより、第４の実施の形態によれば、各グループごとに各通行者を監視することができ、各グループの各人物の行動を容易に監視できる。

以下、第５〜第９の実施の形態について説明する。
以下に説明する第５〜第９の実施の形態では、通行者認識システムの運用形態として、複数のエリアにおける人物を監視する人物の監視システムを想定するものとする。図１６は、第５〜第９の実施の形態に係る通行者認識システムとしての監視システムが監視する複数の監視エリアの設定例を示す図である。図１６に示す例では、あるセキュリティエリアＳＡ内において、複数の監視エリアＳａ１〜Ｓａ６が設定されている。後述する第５〜第９の実施の形態に係る通行者認識システムでは、１つのセキュリティエリアＳＡ内の各監視エリアＳａ１〜Ｓａ６に、それぞれカメラ（各監視エリアの画像を撮影するカメラ）が設定されているものとする。

次に、第５の実施の形態について説明する。
図１７は、第５の実施の形態に係る通行者認識システム５００の構成例を示す図である。
図１７に示すように、通行者認識システム５００は、複数のカメラ５０１、複数の通行者認識装置５０２、監視装置５０４、および、サーバ装置５０５などにより構成されている。また、各通行者認識装置５０２は、入力部５１１（５１１Ａ、５１１Ｂ）および制御部５１２（５１２Ａ、５１２Ｂ）を有している。さらに、各制御部５１２（５１２Ａ、５１２Ｂ）は、特徴検出部５２１（５２１Ａ、５２１Ｂ）および認識部５２２（５２２Ａ、５２２Ｂ）などを有している。また、上記サーバ装置５０５は、記憶部５３１、履歴データベース５３２、グループ判定部５３３および出力部５３４などを有している。
なお、上記のような通行者認識システム５００の構成は、運用形態等に応じて適宜変形可能である。たとえば、上記サーバ装置５０５の各構成は、何れかの通行者認識装置５０２に設けるようにしても良い。

また、図１７に示す通行者認識システム５００における、カメラ５０１（５０１Ａ、５０１Ｂ）、入力部５１１（５１１Ａ，５１１Ｂ）、出力部５１３（５１３Ａ，５１３Ｂ）、特徴検出部５２１（５２１Ａ，５２１Ｂ）、および、認識部５２２（５２２Ａ，５２２Ｂ）は、それぞれ図１に示す通行者認識システム１００における、カメラ１０１、入力部１１１、出力部１１３、特徴検出部１２１、および、認識部１２２の構成と同様であるため、詳細な説明を省略する。

以下、上記通行者認識システム５００の各部について詳細に説明する。
上記記憶部５３１は、上記第１の実施の形態で説明した記憶部１１４と同様な各登録者に関する登録情報（識別情報、顔の特徴情報、顔画像、グループ情報等）が記憶されるものとする。上記記憶部５３１に記憶されている登録情報は、認識部５２２Ａ、５２２Ｂにおける人物の認識処理あるいは上記グループ判定部５３３によるグループ判定処理などで使用される情報である。

上記履歴データベース５３２は、上記通行者認識装置５０２Ａあるいは５０２Ｂによる認識結果などの情報とグループ判定部５３３による判定結果とを履歴情報として記憶するようになっている。たとえば、上記履歴データベース５３２に記憶される履歴情報としては、人物の認識結果（認識された人物を示す情報、撮影された場所（監視エリア）を示す情報、認識（撮影）された日時）と各人物のグループ判定結果などの情報が記憶される。

上記グループ判定部５３３は、上記各通行者認識装置５０２による人物の認識結果に基づいて各人物のグループを判定する処理（グループ判定処理）と各グループごとの集団行動を判定する処理（集団行動の判定処理）とを行う。なお、上記グループ判定部５３３における各人物のグループ判定処理は、上記第１の実施の形態で説明したグループ判定部１２３によるグループ判定処理と同様な方法で実現可能である。また、各人物のグループ判定処理は、上記第１の実施の形態と同様に、各通行者認識装置５０２が実行するようにしても良い。

上記グループ判定部５３３による集団行動の判定処理は、各グループごとに、複数の人物による集団行動の状態を判定（検出）する処理である。たとえば、第５の実施の形態において、グループ判定部５３３は、上記集団行動の判定処理として、同一グループに属する複数の人物が集団で行動しているか否かを判定する。また、上記グループ判定部５３３では、各人物間の接近度を判定する。各人物間の接近度は、セキュリティエリアＳＡ内における各人物間の接近度合いを示す値である。上記接近度は、所定の条件に基づいて判定される。たとえば、上記接近度は、「同時刻に同じ場所（監視エリア）に存在していた」（第１の条件）、あるいは、「同時間帯にセキュリティエリアへ入場あるいは出場した」（第２の条件）などの条件が満たされるごとに、カウントアップ（所定の値が積算）される値である。この第５の実施の形態では、グループ判定部５３３は、複数の人物（集団）での行動を判定するため、各グループごとに各人物間の接近度を判定するものとする。

まず、上記第１の条件に基づく接近度による集団行動の判定処理について説明する。
上記第１の条件に基づく接近度は、１つの入力画像（１つの監視エリアの画像）から同一グループに属する複数の人物が検出（認識）されるごとにカウントアップ（所定の値が積算）される値である。ただし、複数の人物が接近したことが、直接的に、一緒に行動していることを示すとは限らない。つまり、１つの入力画像から同時に検出された人物同士が、同じグループであったとしても、偶発的に、その時間にその場所に存在しただけである可能性がある（実際には、一緒に行動せずに、ばらばらに行動している可能性がある）。

言い換えると、短時間での人物の認識結果だけでは、「同じ時間に同じ場所に複数の人物が一緒にいる」ことは判定できるが、「それらの人物同士が集団行動している」か否かを判定するのは難しい。このため、上記第１の条件に基づく接近度による集団行動の判定処理では、「一緒にいた時間の長さ」が所定時間以上（あるいは、「一緒にいたと判定された回数」が所定回数以上）であれば、「それらの人物が一緒に行動している」と判定するものとする。上記のような一緒にいた時間の長さを判定するためには、継続的に、複数の人物が接近した状態であるか否かを判定する必要がある。ここでは、上記グループ判定部５３３は、各人物間の接近度を記憶するデータテーブル（接近マップ）５３３ａにより複数の人物が一緒に行動しているか否かを判定するものとする。

図１８は、第５の実施の形態に係る通行者認識システムにおいて作成される接近マップ５３３ａの例を示す図である。図１８に示す例は、ある監視エリアにおける各人物間の接近度を示す接近マップ５３３ａの例を示しているものとする。
上記接近マップ５３３ａには、各人物同士が一緒にいた時間の長さを示す値が接近度として記憶される。このため、同一の入力画像（ある監視エリアを撮影した画像）から同一グループの複数の人物が継続的（連続的）に検出（認識）されている場合、それらの人物間の接近度は、所定時間ごとに更新（カウントアップ）されるようになっている。たとえば、継続的に同じ入力画像から認識されている同一グループに属する複数の人物の接近度を１分ごとに更新（カウントアップ）するようにすれば、上記接近マップ５３３ａに記憶される接近度は、複数の人物が何分一緒にいたかを示す値となる。具体的には、１分ごとに接近度がカウントアップされるものであれば、接近度が「１２」となっている人物Ａと人物Ｂとは、１２分間、当該監視エリアに一緒にいたことを示している。このような接近マップ５３３ａによれば、誰と誰とが、何処で、どの位の時間、接近した状態であったかが容易に判別できる。

次に、上記第１の条件に基づく接近度による集団行動の判定処理の流れについて説明する。
図１９は、上記第１の条件に基づく接近度による集団行動の判定処理の例を説明するためのフローチャートである。
まず、上記グループ判定部５３３は、各通行者認識装置５０２あるいは履歴データベース５３２から認識結果を順次取得する（ステップＳ５０１）。なお、ここでは、１つの入力画面から得られた１人または複数の人物についての認識結果が１つの認識結果となっているものとする。認識結果を取得すると、上記グループ判定部５３３は、上記記憶部５３１に記憶されている登録情報を参照し、当該認識結果において認識された全ての人物についてグループを判定する（ステップＳ５０２）。なお、各人物のグループは、各通行者認識装置５０２で判定するようにしても良い。この場合、各人物のグループを示す情報は、認識結果に含まれるものとする。この場合、上記グループ判定部５３３は、そのような認識結果から全ての人物のグループを判定するものとする。

認識された全ての人物のグループを判定すると、上記グループ判定部５３３は、同一の入力画像から同一グループに属する複数の人物が検出（認識）されたか否かを判断する（ステップＳ５０３）。１つの入力画像から同一グループに属する複数の人物が認識されなかったと判断した場合（ステップＳ５０３、ＮＯ）、上記グループ判定部５３３は、上記ステップＳ５０１へ戻り、上述した処理を繰り返し実行する。

また、上記判断により１つの入力画像から同一グループに属する複数の人物が認識されたと判断した場合（ステップＳ５０３、ＹＥＳ）、上記グループ判定部５３３は、当該入力画像を撮影した監視エリアの接近マップ５３３ａに対して、それぞれの人物間の接近度をカウントアップする（ステップＳ５０４）。なお、継続的に、各入力画像において同時に検出されている複数の人物間の接近度を更新（カウントアップ）する場合、それらの人物間の接近度については、所定時間ごとに更新することとする
１つの入力画像から認識された同一グループに属する複数の人物（同時に撮影された複数の人物）間の接近度をカウントアップすると、上記グループ判定部５３３は、それらの人物間の接近度が所定の値以上となったか否かを判断する（ステップＳ５０５）。この判断により接近度が所定の値未満であると判断した場合（ステップＳ５０５、ＮＯ）、上記グループ判定部５３３は、上記ステップＳ５０１へ戻り、上述した処理を繰り返し実行する。

また、上記判断により上記接近度が所定の値以上となったと判断した場合（ステップＳ５０５、ＹＥＳ）、上記グループ判定部５３３は、それらの人物が集団行動（一緒に行動）しているものと判断する（ステップＳ５０６）。複数の人物が集団行動していることを判断すると、上記グループ判定部５３３は、集団行動している複数の人物が撮影された監視エリアを示す情報とともに、集団行動していると判断された各人物を示す情報を出力部５３４に対して供給する（ステップＳ５０７）。

これにより、上記出力部５３４では、当該監視エリアを示す情報とともに集団行動していると判定した各人物を示す情報とグループを示す情報とを監視装置５０４へ出力する。これにより、上記監視装置５０４では、例えば、「どこの監視エリアで誰と誰とが集団で行動している」というような情報が表示可能となる。また、上記出力部５３４は、複数の人物が一緒に行動していると判定されたグループ（または、各グループの警戒度）に応じた警報などを発生するための制御情報を上記監視装置５０４へ出力するようにしても良い。

また、上記第１の条件では、同一グループに属する複数の人物が１つの監視エリアで検出されたことを判定する。つまり、上記第１の条件に基づく接近度による集団行動の判定処理では、各監視エリアごとに複数の人物が集団行動しているか否かが判定される。このような判定結果により、上記出力部５３４では、集団行動している複数の人物が検出された各監視エリアごとの重要度に応じた出力処理するようにしても良い。これは、１つのセキュリティエリアＳＡ内であっても各監視エリアＳａ１〜Ｓａ６は、重要度（セキュリティレベル）が異なることがあるためである。セキュリティエリアＳＡ内には、重要度の高いエリア（たとえば、特定のグループの人物が数名いても問題ない場所）と重要度が低いエリア（たとえば、特定のグループの人物が数名いれば警戒すべき場所）とが混在している場合がありうる。このような場合、各監視エリアに重要度を設定しておくことにより、通行者認識装置は、各監視エリアごとの重要度に応じた警報などを外部装置へ通知する出力処理を行うことが可能となる。

たとえば、複数の監視カメラが設置されている建物（セキュリティエリア）の中に監視エリアの１つとして重要な物件を管理している部屋（最重要エリア）がある場合、当該セキュリティエリア内の各監視エリアの重要度は、上記最重要エリアに近づけば近づくほど高くするように設定すれば良い。このような場合、あるグループの集団が、上記のような最重要エリアに近づくほど警報のレベルを高げるという運用が可能となる。

図２０は、複数の監視エリアに対する重要度の設定例を示す図である。
図２０に示す例では、監視エリアＳａ１、Ｓａ２、Ｓａ３の重要度がそれぞれ「３」、「１」、「２」と設定され、さらに、監視エリアＳａｎの重要度が「５」と設定されている。このため、重要度が最も高い監視エリアＳａｎで同一グループの複数の人物が認識された場合、その旨の警報が最優先される。また、図２０に示す例では、外部装置へ警報を出力するための優先順位を判断するための総合判断値が示されている。総合判断値は、たとえば、図２０に示すように、各グループごとに、各監視エリアの重要度に、検出された人数を掛け合わせた値を積算したものとなっている。図２０に示す例では、グループ２の総合判断値が最も高い値となっている。このため、図２０に示すような判定結果が得られた場合、上記出力部５３４は、監視エリアＳａｎにグループ２の人物が２名存在している旨の警報を最優先して監視装置５０４へ通知する。

上記のように、通行者認識システムでは、監視エリアに重要度を設定しておくことにより、集団で行動しているグループが検出された各監視エリアの重要度に応じた出力処理を行う。これにより、重要な監視エリア、あるいは、重要なエリアに近い監視エリアで、集団で行動しているグループを効率的に監視することができる。

次に、上記第２の条件に基づく接近度による集団行動の判定処理について説明する。
上記第２の条件に基づく接近度は、同一グループの複数の人物が同じ時間帯にセキュリティエリアに存在したか否かにより判定される。たとえば、上記第２の条件に基づく接近度は、同一グループに属する複数の人物がセキュリティエリアへ入場した時刻あるいは出場した時刻に基づいて判定される。この場合、「ほぼ同じ時刻にセキュリティエリアに入場した複数の人物」間、あるいは、「ほぼ同じ時刻にセキュリティエリアから出場した複数の人物」間については、接近度がカウントアップ（所定の値を積算）される。言い換えれば、第２の条件に基づく接近度は、同一グループに属する複数の人物がセキュリティエリア内において同時間帯に行動したことを判定するための値である。

たとえば、物の受け渡し、あるいは、待ち合わせなどの短時間の用件で行動している複数の人物は、短時間接近するだけで、別々の入口から入場したり、別々の出場口から出場したりすることがありうる。つまり、物の受け渡し、あるいは、待ち合わせを目的としている複数の人物は、集団で行動しているものの、ほとんど一緒に行動していないことがありうる。

このような場合、上記第１の条件に基づく接近度では、それらの人物同士が一緒に行動しているとは判定し難い。これに対して、上記第２の条件に基づく接近度では、少なくとも同じ時間帯に、セキュリティエリア内に存在した（セキュリティエリアへ入場した、あるいは、セキュリティエリアから出場した）同一グループに属する複数の人物を特定できる。なお、以下の説明では、上記第２の条件に基づく接近度は、各人物のセキュリティエリアへの入場時刻あるいは出場時刻により判定されることを想定するものとする。

また、上記第２の条件に基づく接近度は、上記したような接近マップ５３３ａを用いて管理されるものとする。たとえば、セキュリティエリアには、出入口が設けられている複数の監視エリアがあるとする。この場合、出入口のある複数の監視エリアで、同じ時間帯にセキュリティエリアへ入場（あるいはセキュリティエリアから出場）した同一グループに属する複数の人物については、接近マップ５３３ａの接近度を高くする（カウントアップする）。このような接近マップ５３３ａによれば、同じ時間帯に出入した同一グループの複数の人物が容易に判別できる。

ここで、図１６に示すように、セキュリティエリアＳＡには、出入口が監視エリアＳａ１、Ｓａ２、Ｓａ３に設けられているものとする。例えば、監視エリアＳａ１で人物Ａが検出された時刻と監視エリアＳａ２で人物Ｂが検出された時刻とが所定時間内であった場合、人物Ａと人物Ｂとが同一グループであれば、上記グループ判定部５３３は、上記接近マップ５３３ａにおける人物Ａと人物Ｂとの接近度を積算する。このような処理によれば、接近マップ５３３ａには、同時間帯にセキュリティエリアＳＡに出入した人物間の接近度が高くなる。それらの結果が積算されて所定以上の値になった時点で、グループ判定部５３３は、同一グループの人物が複数人存在したと判定する。

また、セキュリティエリアＳＡの出入口となっている各監視エリアＳａ１、Ｓａ２、Ｓａ３には、入場する人物を撮影するカメラと出場する人物を撮影するカメラとを設置するようにしても良い。この場合、入場する人物を撮影するカメラが撮影した画像から検出された人物がセキュリティエリアＳＡへの入場者であり、出場する人物を撮影するカメラが撮影した画像から検出された人物がセキュリティエリアＳＡからの出場者である。このような構成により、セキュリティエリアへの入場者とセキュリティエリアからの出場者とが、容易に区別できる。

次に、上記第２の条件に基づく接近度による集団行動の判定処理の流れについて説明する。
図２１は、上記第２の条件に基づく接近度による集団行動の判定処理の例を説明するためのフローチャートである。
まず、上記グループ判定部５３３は、各通行者認識装置５０２あるいは履歴データベース５３２から認識結果を順次取得する（ステップＳ５２１）。なお、セキュリティエリアへの入場時刻あるいは出場時刻のみを判定対象とする場合、上記グループ判定部５３３は、セキュリティエリアＳＡへの出入口がある何れかの監視エリアＳａ１、Ｓａ２、Ｓａ３で撮影された画像に対する認識結果のみを取得するようにしても良い。

認識結果を取得すると、上記グループ判定部５３３は、上記記憶部５３１に記憶されている登録情報を参照し、当該認識結果において認識された各人物のグループを判定する（ステップＳ５２２）。なお、各人物のグループは、各通行者認識装置５０２で判定するようにしても良い。
各人物のグループを判定すると、上記グループ判定部５３３は、当該認識結果における各人物が検出された時間から所定時間内に当該人物と同じグループに属する人物がセキュリティエリアＳＡ内の何れかの監視エリアで検出（認識）されているか否かを判定する（ステップＳ５２３）。たとえば、セキュリティエリアへの入場時刻あるいは出場時刻を判定対象とする場合、上記グループ判定部５３３は、出入口のある監視エリアＳａ１、Ｓａ２、Ｓａ３で同一グループの人物が所定時間内に検出されているか否かを判定する。

上記判定により所定の時間内に同一グループに属する人物が検出されていないと判定した場合（ステップＳ５２３、ＮＯ）、上記グループ判定部５３３は、上記ステップＳ５２１へ戻り、上述した処理を繰り返し実行する。また、上記判定により所定の時間内に同一グループに属する人物が検出されていると判定した場合（ステップＳ５２３、ＹＥＳ）、上記グループ判定部５３３は、当該認識結果において認識された人物と所定時間内に検出された同一グループに属する人物との接近度をカウントアップする（ステップＳ５２４）。

所定時間内に検出された同一グループに属する複数の人物間の接近度をカウントアップすると、上記グループ判定部５３３は、それらの人物間の接近度が所定の値以上となったか否かを判断する（ステップＳ５２５）。この判断により当該接近度が所定の値未満であると判断した場合（ステップＳ５２５、ＮＯ）、上記グループ判定部５３３は、上記ステップＳ５２１へ戻り、上述した処理を繰り返し実行する。

また、上記判断により上記接近度が所定の値以上となったと判断した場合（ステップＳ５２５、ＹＥＳ）、上記グループ判定部５３３は、それらの人物がセキュリティエリアＳＡ内でグループとして行動している可能性があると判定する（ステップＳ５２６）。同一グループの複数の人物が一緒に行動している可能性があると判定した場合、上記グループ判定部５３３は、グループとして行動している可能性があるそれらの人物を示す情報とグループを示す情報とを出力部５３４に対して供給する（ステップＳ５２７）。

これにより、上記出力部５３４では、所定時間内にセキュリティエリア内の何れかの監視エリアで検出された同一グループの各人物を示す情報を監視装置５０４へ出力する。これにより、上記監視装置５０４では、たとえば、「セキュリティエリア内に同一グループの誰と誰とが存在している」というような情報が表示可能となる。また、上記出力部５３４は、複数の人物が一緒に行動している可能性があると判定されたグループ（または、各グループの警戒度）に応じた警報などを発生する旨の制御情報を上記監視装置５０４へ出力するようにしても良い。

上記第２の条件に基づく接近度によれば、一緒に行動する時間が短い場合でも、同時間帯にセキュリティエリア内に存在する傾向がある同一グループに属する複数の人物が集団で行動している可能性があると判定できる。さらには、各人物の入出場のパターン（入場時刻あるいは出場時刻）に基づいて、セキュリティエリア内で集団行動を行っている可能性がある複数の人物を検出および報知することも可能である。

また、第２の条件による接近度の判定は、特定のグループについてのみ適用することも可能である。たとえば、警戒度の高いグループのみを対象として、第２の条件による接近度の判定を行うようにしても良い。これにより、警戒度の高いグループに属する複数の人物が、セキュリティエリア内で同時間帯に行動しているらしいことを検出できる。警戒度の高いグループに属する複数の人物がセキュリティエリア内に同時間帯に存在していれば、それらの人物が危険性の高い行動をとる可能性が高くなることが予測される。この結果として、警戒度が高い特定のグループに属する各人物については、上記のような第２の条件で接近度を判定することにより、充分な警戒を支援することが可能となる。

なお、上記第１の条件に基づく接近度と上記第２の条件に基づく接近度とを組み合わせて総合的に同一グループに属する複数の人物がセキュリティエリア内で集団行動しているか否かを判定するようにしても良い。この場合、１つの接近マップに上記第１の条件に基づく接近度と上記第２の条件とに基づく接近度とがそれぞれカウントアップされるようにすれば良い。

上記のような通行者認識システム５００は、同一グループに属する複数の人物が任意のエリアで継続的に所定期間（時間または認識された回数）一緒にいることが検出された場合、それらの人物が一緒に行動していると判定し、その判定結果を外部装置へ出力するようにしたものである。また、同一グループに属する複数の人物が同一時間帯にセキュリティエリアの出入口などのエリアで検出された場合、同一グループに属する複数の人物がセキュリティエリアに同時間帯に存在している（あるいは同一グループに属する複数の人物が類似した行動パターンである）と判定し、その旨を外部装置へ出力するようにしたものである。

これにより、監視員は、一緒に行動している各グループの集団を容易に認識することができ、各グループの行動に応じた的確な対応が可能となる。また、監視員は、警戒度の高いグループが集団で行動していること、あるいは、集団で行動している可能性が高いことなどを容易に認識でき、迅速に的確な警備体制を準備することが可能となる。また、一緒に行動しているグループおよび人数と各監視エリアの重要度とに応じた警報を出力することも可能となる。このため、監視員は、警戒度に応じた警報により警戒レベルを直感的かつ容易に認識することができる。

次に、第６の実施の形態について説明する。
図２２は、第６の実施の形態に係る通行者認識システム６００の構成例を示すブロック図である。
図２２に示すように、通行者認識システム６００は、複数のカメラ６０１（６０１Ａ、６０１Ｂ）、複数の通行者認識装置６０２（６０２Ａ、６０２Ｂ）、監視装置６０４、および、サーバ装置６０５などにより構成されている。また、各通行者認識装置６０２は、入力部６１１（６１１Ａ、６１１Ｂ）および制御部６１２（６１２Ａ、６１２Ｂ）を有している。さらに、各制御部６１２（６１２Ａ、６１２Ｂ）は、特徴検出部６２１（６２１Ａ、６２１Ｂ）および認識部６２２（６２２Ａ、６２２Ｂ）などを有している。また、上記サーバ装置６０５は、記憶部６３１、履歴データベース６３２、グループ判定部６３３、出力部６３４および関連性判定部６３５などを有している。なお、上記のような通行者認識システム６００の構成は、運用形態等に応じて適宜変形可能である。たとえば、上記サーバ装置６０５の各構成は、何れかの通行者認識装置６０２に設けるようにしても良い。

また、図２２に示す通行者認識システム６００における、カメラ６０１、入力部６１１、制御部６１２、記憶部６３１、履歴データベース６３２、グループ判定部６３３、および、出力部６３４は、それぞれ図１７に示す通行者認識システム５００における、カメラ５０１、入力部５１１、制御部５１２、記憶部５３１、履歴データベース５３２、グループ判定部５３３、および、出力部５３４の構成と同様であるため、詳細な説明を省略する。

図２２に示す通行者認識システム６００は、図１７に示す通行者認識システム５００のサーバ装置に、認識結果の履歴情報から各人物間の関連性を判定する関連性判定部６３５を設けた構成となっている。上記関連性判定部６３５は、上記第３の実施の形態で説明した図１０に示す関連性判定部３３３と類似する関連性の判定処理を行う。上記関連性判定部６３５は、上記第３の実施の形態で説明した上記関連性判定部３３３と同様な手法により、相関マップ６３５ａに各人物間の関連性を示す評価値を投票（蓄積）する処理を行う。

図２３は、第６の実施の形態の関連性判定部６３５による関連性の判定処理の流れの例を説明するためのフローチャートである。なお、図２３に示すフローチャートのステップＳ６０１〜Ｓ６０９の処理は、上記第３の実施の形態で説明した図１３に示すフローチャートのステップＳ３０１〜Ｓ３０９の処理と同様な処理であるため、詳細な説明を省略する。
すなわち、上記関連性判定部６３５では、関連性が高いと判定された複数の人物（関連性の評価値が所定値以上となった複数の人物）に対して、一方の人物が属しているグループに他方の人物を追加すべきであるという判定を行う（ステップＳ６１０）。言い換えれば、上記関連性判定部６３５は、関連性の評価値が所定値以上となった人物同士に対して、それらの人物の現在のグループ情報に基づいてグルーピングを行う点が上記関連性判定部３３３と異なっている。

たとえば、人物Ａと人物Ｂとの関連性の評価値が所定値以上となった場合、上記関連性判定部６３５は、人物Ａと人物Ｂとが同一グループらしいと判定する。人物Ａと人物Ｂとが同一グループらしいと判定した場合、上記関連性判定部６３５は、人物Ａがグループ１に所属していれば、人物Ｂのグループ情報にグループ１を追加したり、人物Ｂがグループ１らしいという情報を監視装置６０４へ通知したりするものである。

図２４は、各通行者認識装置６０２による認識結果の履歴情報の例を示す図である。また、図２５は、図２４に示す認識結果の履歴情報に基づく関連性の評価例を示す図である。
図２４に示すような認識結果の履歴情報については、上記第３の実施の形態で説明したような手法（各認識結果とその直前の認識結果とを比較）により、各人物（登録者および未登録者）間の関連性が評価される。図２４に示す例では、登録者Ａと登録者Ｂとの関連性がレベル２であると判定され、登録者Ｂと登録者Ｃおよび登録者Ｂと未登録者Ｘとの関連性がそれぞれレベル１であると判定され、未登録者Ｘと登録者Ｃとの関連性がレベル３であると判定され、登録者Ｄと登録者Ｅとの関連性がレベル３であると判定されている。このような各人物間の関連性の評価を整理すると、図２５に示すような相関マップ６３５ａが得られる。

また、図２４に示す例では、未登録者Ｘと判定された人物についても、他の登録者と認識された人物との関連性を評価している。図２４に示す例では、未登録者Ｘは、同時に認識された（１つの入力画像から認識された）登録者Ｃとの関連性が高いと評価している。このような未登録者については、顔の特徴情報などの登録情報が記憶部６３１に記憶されていない。このため、未登録者については、自動的に、記憶部６３１に記憶されているグループ情報を更新することができない。すなわち、未登録者を他の人物（登録者）とグルーピングするには、当該未登録者の登録情報（顔の特徴情報など）を記憶部６３１に記憶すべきか否かを監視員あるいはシステム管理者に判断させる必要がある。従って、登録者との関連性が高いと評価された未登録者については、各登録者との関連性を示す情報とともに、認識処理で検出された当該人物（未登録者）の顔画像等も監視装置６０４に表示させる。これにより、未登録者については、監視員あるいはシステム管理者により判断に基づいて、登録情報を記憶部６３１に登録するとともに、他の登録者との関連性に基づくグループ情報を設定できる。

なお、未登録者については、入力画像から検出された顔の特徴情報にＩＤ番号を割り当てて記憶部６３１に未登録者の情報（仮の登録情報）として記憶しておくことも可能である。この場合、当該未登録者については、その後の当該システムにおける認識処理において、上記ＩＤ番号の未登録者として入力画像から検出された顔の特徴情報との照合が可能となる。これにより、未登録者のままであっても、他の登録者あるいはＩＤ番号が割当てられた他の未登録者との関連性を継続的に評価することが可能となる。

また、関連性が高いと判定された登録者同士のグループ情報についても、監視者あるいはシステム管理者による判断に基づいて更新するようにしても良い。この場合、上記関連性判定部６３５は、関連性が高いと評価された複数の人物に関する情報を監視装置６０４に表示させる。このような表示を目視した監視者あるいはシステム管理者は、関連性が高いと評価された各人物をグループとして登録する場合、その旨を操作部６０４ａにより指示する。監視者あるいはシステム管理者が表示された人物のグループ情報の更新を指示した場合、上記監視装置６０４は、上記関連性判定部６３５に当該人物のグループ情報の更新を要求する。上記監視装置６０４からの各人物のグループ情報の更新要求を受けた場合、上記関連性判定部６３５は、上記記憶部６３１に記憶されている当該人物のグループ情報を更新する。これにより、監視員あるいはシステム管理者による目視での確認を得た上で、各人物のグループ情報の更新が可能となる。この場合、監視員あるいはシステム管理者が、目視でグループ情報の更新内容を確認できるため、確実なグループ管理が可能となる。

次に、第７の実施の形態について説明する。
上記第７の実施の形態は、上記第６の実施の形態の第１の変形例である。このため、第７の実施の形態に係る通行者認識システム７００は、上記第６の実施の形態で説明した図２２に示すような構成であるものとする。ただし、第７の実施の形態に係る通行者認識システム７００では、認証済みの登録者の登録情報として、他のグループとは異なる特別なグループ（認証済みのグループ）であることを示すグループ情報が記憶されているものとする。また、第７の実施の形態では、認証済みのグループの人物と他のグループの人物との関連性が高くなった場合、それらの人物については、特別なルールに従って、関連性の評価値をリセットしたり、グループ情報を更新したりするものである。

図２６は、第７の実施の形態に係る通行者認識システム７００の記憶部６３１に記憶される登録情報の例を示す図。
図２６に示す例では、上記第１の実施の形態で説明した図３に示すような登録情報に加えて、「認証済み」とされるグループを示す情報が追加されている。この「認証済み」のグループに所属している人物は、システム管理者あるいは警備員などの当該セキュリティエリアの管理上で確実に信頼できる人物であるものとする。たとえば、認証済みの人物と一緒に行動している人物（つまり、認証済みの人物との関連性が高いと評価された人物）は、認証済みのグループとして自動的に登録したり、不審者などのようなネガティブなグループ（警戒度の高いグループ）に登録したりすることを避けるような運用が可能となる。

図２７は、第７の実施の形態の関連性判定部６３５による関連性の判定処理の流れの例を説明するためのフローチャートである。なお、図２７に示すフローチャートのステップＳ７０１〜Ｓ７０９の処理は、上記第３の実施の形態で説明した図１３に示すフローチャートのステップＳ３０１〜Ｓ３０９の処理と同様な処理であるため、詳細な説明を省略する。また、図２７のステップＳ７１２の処理は、上記第６の実施の形態で説明した図２３のステップＳ６１０の処理と同様な処理であるため、詳細な説明を省略する。
すなわち、第７の実施の形態の関連性判定部６３５では、関連性が高いと判定された複数の人物（関連性の評価値が所定値以上となった複数の人物）について、「認証済み」のグループに属する人物（認証済みの人物）を含むか否かを判定する（ステップＳ７１０）。この判定により認証済みの人物を含むと判定した場合（ステップＳ７１０、ＹＥＳ）、上記関連性判定部６３５は、それらの複数の人物の評価値（つまり、「認証済み」のグループに属する人物との評価値）をリセットする（ステップＳ７１１）。

これにより、「認証済み」のグループに属する人物については、特定のグループ（たとえば、図２６に示す例では要注意集団のグループ）との関連性が高いと評価された場合であっても、その情報をリセットされる。つまり、通行者認識システム７００では、「認証済み」のグループに属する人物については、他のグループとの関連性を評価しないようにしている。なお、「認証済み」のグループに属する人物との関連性が高いと判定される人物についても、特定のグループとの関連性を評価しないようにすることも可能である。

また、認証済みのグループは、他のグループとは異なる特別なグループである。このため、当該通行者認識システムが認証済みのグループにそれ以外のグループの人物を自動的に登録をすることを避けるために、認証済みのグループに属する人物との関連性を示す評価値を相関マップに投票することを避けるようにしても良い。但し、通行者認識システムの運用形態は、セキュリティポリシーに応じて設定されるものである。このため、セキュリティポリシーにおいて認証済みのグループにそれ以外のグループの人物を自動的に追加することが許可されるならば、認証済みのグループに属する人物についても、他の人物との関連性を示す評価値を相関マップに投票するようにしても良い。

上記のように、第７の実施の形態に係る通行者認識システムでは、上記第６の実施の形態で説明した通行者認識システムの処理に加えて、認証済みのグループなどの特別なグループに属する各人物と他の人物との関連性を評価しないようにする。これにより、第７の実施の形態では、明らかに信頼できるとされる人物（認証済みの人物）を誤って不適切なグループに登録したり、他の人物を認証済みのグループとしたりすることを防ぐことが可能となる。この結果として、セキュリティエリア内における各人物に対するグループ管理を高精度に行うことが可能となる。

次に、第８の実施の形態について説明する。
上記第８の実施の形態は、上記第６の実施の形態の第２の変形例である。このため、第８の実施の形態に係る通行者認識システム８００は、上記第６の実施の形態で説明した図２２に示すような構成であるものとする。ただし、第８の実施の形態に係る通行者認識システム８００では、各人物間の関連性を判定する手法が上記第６の実施の形態で説明したものと異なる。すなわち、第８の実施の形態では、セキュリティエリアにおける別々の監視エリアであっても、同時間帯に、検出（認識）された人物間の関連性を高くするものである。

たとえば、別々の出入口で入場あるいは出場した人物同士であっても、セキュリティエリアへの入場あるいは出場の時間帯が同じであれば、それらの人物の関連性を高くする。このような関連性の判定手法は、上記第５の実施の形態で説明した第２の条件に基づく接近度の判定処理と類似している。すなわち、上記第８の実施の形態に係る通行者認識システムでは、同時間帯にセキュリティエリアに存在したこと、同時間帯にセキュリティエリアに入場したこと、あるいは、同時間帯にセキュリティエリアから出場したことなどによる各人物の行動パターンの類似性に基づいて、各人物間の関連性を評価するものである。

これにより、上記第８の実施の形態に係る通行者認識システムでは、待ち合わせあるいは物の受け渡しなどで、セキュリティエリア内で短時間しか接近していない人物間についても、関連性を評価できる。言い換えると、第８の実施の形態では、セキュリティエリア内において別々に行動している人物同士（同じ監視エリアで同時に検出されない人物同士）であっても、同時間帯にセキュリティエリアに存在している傾向がある人物（行動パターンに類似性がある人物）同士については、関連性を高くするものである。

次に、この第８の実施の形態に係る通行者認識システムの関連性判定部６３５による処理例について説明する。

図２８は、この第８の実施の形態に係る通行者認識システムの関連性判定部６３５による関連性の判定処理を説明するためのフローチャートである。
まず、上記関連性判定部６３５は、各通行者認識装置６０２あるいは履歴データベース６３２から認識結果を順次取得する（ステップＳ８０１）。ここでは、履歴データベース６３２に記憶されている認識結果には、少なくとも、日時（入力画像の撮影日時）、監視エリア（入力画像の撮影場所）、および、認識された人物を示す情報などの情報が含まれているものとする。なお、セキュリティエリアへの入場者あるいは出場者のみを関連性の判定対象とする場合、上記関連性判定部６３５は、セキュリティエリアＳＡへの入口あるいは出口がある何れかの監視エリアＳａ１、Ｓａ２、Ｓａ３で撮影された画像に対する認識結果のみを取得するようにしても良い。

認識結果を取得すると、上記関連性判定部６３５は、当該認識結果に含まれる日時に基づいて所定の時間内にセキュリティエリアＳＡ内の何れかの監視エリアで別の人物が検出（認識）されているか否かを判定する（ステップＳ８０２）。なお、セキュリティエリアへの入場時刻あるいは出場時刻のみを判定対象とする場合、上記関連性判定部６３５は、入口あるいは出口のある何れかの監視エリアＳａ１、Ｓａ２、Ｓａ３で所定時間内に別の人物が検出（認識）されているか否かを判定する。

上記判定により所定の時間内に別の人物が検出されていないと判定した場合（ステップＳ８０２、ＮＯ）、上記関連性判定部６３５は、上記ステップＳ８０１へ戻り、上述した処理を繰り返し実行する。また、上記判定により所定の時間内に別の人物が検出されていると判定した場合（ステップＳ８０２、ＹＥＳ）、上記関連性判定部６３５は、所定時間内に検出された人物間の関連性の評価値を高くする（つまり、相関マップ６３５ａにおける当該人物間の値をカウントアップする）（ステップＳ８０３）。なお、同一の監視エリアで所定時間内に複数の人物が検出された場合も、それらの人物間の関連性の評価値をカウントアップしても良い。この場合、相関マップ６３５ａには、別々の監視エリアで検出された人物同士に対する評価値よりも大きい値を積算するようにしても良い。これにより、検出された監視エリアに応じて重み付けした値を投票した相関マップ６３５ａが作成される。

所定時間内に検出された複数の人物間の評価値をカウントアップすると、上記関連性判定部６３５は、それらの人物間の評価値が所定の値以上となったか否かを判断する（ステップＳ８０４）。この判断により当該評価値が所定の値未満であると判断した場合（ステップＳ８０４、ＮＯ）、上記関連性判定部６３５は、上記ステップＳ８０１へ戻り、上述した処理を繰り返し実行する。

また、上記判断により評価値が所定の値以上となったと判断した場合（ステップＳ８０４、ＹＥＳ）、上記関連性判定部６３５は、それらの人物が同じグループである可能性が高いと判定する（ステップＳ８０５）。同一グループらしいと判定した場合、上記関連性判定部６３５は、上記記憶部６３１に記憶されている、それらの人物のグループ情報を更新する処理を行う（ステップＳ８０６）。なお、グループ情報の更新処理は、上記第６の実施の形態で説明したように、一方の人物が属するグループに他方の人物を追加するように、上記記憶部６３１に記憶されている当該人物のグループ情報を更新するものとする。

また、上記ステップＳ８０６では、グループ情報を更新する処理の代わりに、上記のような判定結果を出力部６３４により外部装置としての監視装置６０４に出力するようにしても良い。この場合、上記関連性判定部６３５では、上記監視装置６０４からの要求に応じて、グループ情報を更新するようにすれば良い。

また、上記のような処理を所定期間繰り返し行うことにより、相関マップには、統計的に、同じ時間帯にセキュリティエリアに存在している傾向がある複数の人物、あるいは、同じ時間帯に出入口を何度も出入りする傾向がある複数の人物を示す情報が蓄積される。このような相関マップによれば、同じ時間帯にセキュリティエリアに存在している複数の人物、あるいは、同じ時間帯に出入口を何度も出入りしている複数の人物が同一グループらしいと判定することが可能となる。

なお、上記第５の実施の形態と同様に、出入口が設けられている各監視エリアには、セキュリティエリアに入場する人物を撮影するカメラとセキュリティエリアから出場する人物を撮影するカメラとを設けるようにしても良い。この場合、入場する人物と出場する人物とを区別することが可能となる。

上記第８の実施の形態によれば、待ち合わせ、あるいは、物の受け渡しなどの一緒に行動する時間が短い人物同士であっても、セキュリティエリア内に同時間帯に出入りする傾向が見られる人物同士を判定することが可能となる。これは、各人物の入出場のパターンに基づいて、セキュリティエリア内で集団行動を行っているらしい複数の人物を検出するのに効果がある。

次に、第９の実施の形態について説明する。
第９の実施の形態は、たとえば、上記第５の実施の形態の変形例である。このため、第９の実施の形態に係る通行者認識システム９００は、第５の実施の形態で説明した図１７に示すような構成であるものとする。第９の実施の形態に係る通行者認識システム９００は、同一グループに属する複数の人物でなくても、特定のグループに属する人物（あるいは特定の人物）を含む複数の人物からなる集団が検出された場合、警報を監視装置へ通知するものである。

上記第５の実施の形態では、同一グループに属する複数の人物を検出する。このため、上記第５の実施の形態では、特定のグループに属する複数の人物が検出された場合に、監視装置に警報を通知する運用が可能である。これに対して、第９の実施の形態では、特定のグループに属する人物を含む複数の人物が検出する。これにより、第９の実施の形態では、特定のグループに属する少なくとも１人の人物が検出された場合に、監視装置に警報を通知する運用が可能である。

すなわち、上記第９の実施の形態に係る通行者認識システム９００において、グループ判定部５３３は、上記各通行者認識装置５０２による人物の認識結果に基づいて各人物のグループを判定する処理（グループ判定処理）と各グループごとの集団行動を判定する処理（集団行動の判定処理）とを行う。なお、上記グループ判定部５３３における各人物のグループ判定処理は、上記第１の実施の形態で説明したグループ判定部１２３によるグループ判定処理と同様な方法で実現可能である。また、各人物のグループ判定処理は、上記第１の実施の形態と同様に、各通行者認識装置５０２が実行するようにしても良い。

上記グループ判定部５３３による集団行動の判定処理は、特定のグループに属する人物を含む複数の人物が集団行動しているか否かを判定する処理である。このため、上記グループ判定部５３３は、特定のグループに属する人物（あるいは特定の人物）と他の人物（未登録者、他のグループに属する人物、あるいは、グループに属していない人物）との接近度を判定するものとする。上記接近度は、上記第５の実施の形態で説明したように、所定の条件に基づいて判定される。上記接近度を判定するための条件としては、たとえば、「同時刻に同じ場所（監視エリア）にいた」（第１の条件）、あるいは、「同時間帯にセキュリティエリアへ入場あるいは出場した」（第２の条件）などがある。ここでは、第１の条件に基づく接近度により特定のグループに属する人物を含む複数の人物が集団行動しているか否かを判定する処理について説明する。

図２９は、第９の実施の形態に係る通行者認識システム９００において作成される接近マップ５３３ａの例を示す図である。図２９に示す例は、ある監視エリアにおける各人物間の接近度を示す接近マップ５３３ａの例を示しているものとする。
図２９に示す接近マップ５３３ａの例では、図１８と同様に、各人物同士が一緒にいた時間の長さを示す値が接近度として記憶される。すなわち、同一の入力画像（ある監視エリアを撮影した画像）から同一グループの複数の人物が継続的（連続的）に検出（認識）されている場合、それらの人物間の接近度は、所定時間ごとに更新（カウントアップ）されるようになっている。また、図２９に示す接近マップ５３３ａの例では、各人物のグループと各グループに対応付けられている警報のレベルが設定されていることを示している。さらに、図２９に示す接近マップ５３３ａの例では、未登録者についても、接近度が投票されるようになっている。

たとえば、図１２に示す例では、要注意集団に属する人物Ｅと未登録者Ａとの接近度が高くなっている。もし、要注意集団（特定のグループ）に属する人物Ｅと未登録者Ａとの接近度が所定の閾値を超えたものとすると、通行者認識システム９００のグループ判定部５３３では、上記人物Ｅと未登録者Ａとは集団行動しているものと判定される。この場合、出力部５３４は、要注意集団（特定のグループ）に対応付けられている警報レベル５の警報を監視装置（外部機器）５０４へ通知する。

なお、未登録者については、最初に検出された際に、当該未登録者の顔画像と顔の特徴情報と自動的に発番されるＩＤ番号（識別情報）とが未登録者の情報（仮の登録情報）として記憶部５３１に記憶されるものとする。これにより、各未登録者についても、２度目以降に検出された場合には、上記のような未登録者の情報により認識が可能となる。

次に、第９の実施の形態としての集団行動の判定処理の流れついて説明する。

図３０は、上記第１の条件に基づく接近度による集団行動の判定処理の例を説明するためのフローチャートである。
まず、上記グループ判定部５３３は、各通行者認識装置５０２あるいは履歴データベース５３２から認識結果を順次取得する（ステップＳ９０１）。認識結果を取得すると、上記グループ判定部５３３は、上記記憶部５３１に記憶されている登録情報を参照し、当該認識結果において認識された全ての人物についてグループを判定する（ステップＳ９０２）。認識された全ての人物のグループを判定すると、上記グループ判定部５３３は、１の入力画像から特定のグループに属する人物を含む複数の人物が認識されたか否かを判断する（ステップＳ９０３）。１つの入力画像から特定のグループに属する人物を含む複数の人物が認識されなかったと判断した場合（ステップＳ９０３、ＮＯ）、上記グループ判定部５３３は、ステップＳ９０１へ戻り、上述した処理を繰り返し実行する。

また、上記判断により１つの入力画像から特定のグループに属する人物を含む複数の人物が認識されたと判断した場合（ステップＳ９０３、ＹＥＳ）、上記グループ判定部５３３は、当該入力画像を撮影した監視エリアの接近マップ５３３ａに対して、特定のグループに属する人物に対する他の人物の接近度をカウントアップする（ステップＳ９０４）。なお、継続的に１つの入力画像において同時に認識されている複数の人物間の接近度を更新（カウントアップ）する場合、それらの人物間の接近度については、所定時間ごとに更新することとする。

また、１つの入力画像から認識された特定のグループに属する人物を含む複数の人物間の接近度をカウントアップすると、上記グループ判定部５３３は、それらの人物間の接近度が所定の値以上となったか否かを判断する（ステップＳ９０５）。
この判断により接近度が所定の値未満であると判断した場合（ステップＳ９０５、ＮＯ）、上記グループ判定部５３３は、上記ステップＳ９０１へ戻り、上述した処理を繰り返し実行する。

また、上記判断により上記接近度が所定の値以上となったと判断した場合（ステップＳ９０５、ＹＥＳ）、上記グループ判定部５３３は、それらの人物による集団行動に対する警報のレベルを判定する（ステップＳ９０６）。なお、各グループに対応する警報のレベルは、グループに対応づけて設定されているものとする。もし、グループ３が警報レベル「５」に設定されていれば、上記グループ３に属する人物を含む複数の人物が集団行動していると判定された場合、上記グループ判定部５３３は、警報レベル「５」の警報を監視装置５０４へ送信するための情報を出力部５３４へ供給する。これにより、上記出力部５３４は、警報レベル「５」の警報を外部機器へ送信する。

上記のように、第９の実施の形態では、特定のグループに属する人物を含む複数の人物が集団で行動しているか否かを判定し、特定のグループに属する人物を含む複数の人物が集団行動していることを検出した場合には、当該特定のグループに対応付けられている警報レベルで警報を外部機器へ通知するようになっている。

これにより、特定の人物または特定のグループに属する人物を含む複数の人物が集団行動していることを検出でき、さらに、特定のグループに対応づけられている警報レベルで警報を発することが可能となる。特に、未登録者と特定のグループに属する人物とが集団行動していることを検出できる。この結果として、たとえば、不審者のグループなどを効果的に警戒することができ、高度なセキュリティを実現できる。

なお、上述した各実施の形態に係る通行者認識システムは、周辺の他のセキュリティエリアに設置されているシステムと連携して動作するようにしても良い。たとえば、図１６に示すような特定のエリア内を監視する通行者認識システムが、周辺の他のセキュリティエリアに設置されているシステムと連携して登録者情報あるいは履歴情報などの情報を共有化することも可能である。このような形態は、たとえば、上述した各実施の形態の通行者認識装置あるいはサーバ装置に他のシステムとの通信機能を設け、通行者認識装置あるいはサーバ装置内の記憶部に記憶されている情報などを他のシステムと共有化することにより実現できる。

第１の実施の形態に係る通行者認識システムの構成例を概略的に示すブロック図。 入力画像から検出された顔領域の例を示す図。 登録情報の例を示す図。 グループ判定処理の結果の例を示す図。 第１の実施の形態に係る通行者認識システムにおける処理の流れを説明するためのフローチャート。 第２の実施の形態に係る通行者認識装置の構成例を概略的に示すブロック図。 登録情報の例を示す図。 グループ判定処理の結果の例を示す図。 第２の実施の形態に係る通行者認識システムにおける処理の流れを説明するためのフローチャート。 第３の実施の形態に係る通行者認識システムの構成例を概略的に示すブロック図。 関連性判定部の処理例を示す図。 関連性判定部により作成される相関マップの例を示す図。 第４の実施の形態に係る通行者認識システムの構成例を概略的に示すブロック図。 グループ管理部の処理例を示す図。 グループ管理情報の例を示す図。 セキュリティエリアと複数の監視エリアとの設定例を示す図。 第５の実施の形態に係る通行者認識システムの構成例を示す図。 接近マップに記憶される接近度の例を示す図。 集団行動の判定処理の例を説明するためのフローチャート。 各監視エリアに対する重要度の設定例を示す図。 集団行動の判定処理の例を説明するためのフローチャート。 第６の実施の形態に係る通行者認識システムの構成例を示すブロック図。 第６の実施の形態の関連性判定部による関連性の判定処理の流れの例を説明するためのフローチャート。 各通行者認識装置による認識結果の履歴情報の例を示す図。 認識結果の履歴情報に基づく関連性の評価例を示す図。 第７の実施の形態に係る通行者認識システムにおける登録情報の例を示す図。 第７の実施の形態の関連性判定部による関連性の判定処理の流れの例を説明するためのフローチャート。 第８の実施の形態に係る通行者認識システムにおける関連性の判定処理を説明するためのフローチャート。 接近マップに記憶される接近度の例を示す図。 第９の実施の形態に係る集団行動の判定処理の例を説明するためのフローチャート。

符号の説明

１００、２００、３００、４００、５００、６００、７００、８００、９００…通行者認識システム、１０１、２０１、３０１、４０１、５０１、６０１…カメラ、１０２、２０２、３０２、４０２、５０２、６０２…通行者認識装置、１０３、２０３、３０３、４０３…ゲート装置、１０４、２０４、３０４、４０４、５０４、６０４…監視装置、１１１、２１１、３１１、４１１、５１１、６１１…入力部、１１２、２１２、３１２、４１２、５１２、６１２…制御部、１１３、２１３、３１３、４１３、５３４、６３４…出力部、１１４、２１４、３１４、４３１、５３１、６３１…記憶部、１２１、２２１、３２１、４２１、５２１、６２１…特徴検出部、１２２、２２２、３２２、４２２、５２２、６２２…認識部、１２３、２２３、３２３、４２３、５３３、６３３…グループ判定部、３３３、６３５…関連性判定部、３３３ａ、６３５ａ…相関マップ（データテーブル）、４０５、５０５、６０５…サーバ装置、４３２、５３２、６３２…履歴データベース、４３３…グループ管理部、４３３ａ…データテーブル

Claims (14)

1. 人物を認識する人物認識装置であって、
   少なくとも１つの登録者の生体情報と各登録者のグループを示すグループ情報とが対応づけて記憶されている記憶手段と、
   １つのエリア内における複数の監視エリアごとに、各監視エリアに存在している人物の生体情報を含む情報を順次取得する情報取得手段と、
   前記情報取得手段により取得された各情報から少なくとも１人分の生体情報を検出する検出手段と、
   前記検出手段により検出された各生体情報と前記記憶手段に記憶されている各生体情報とを照合することにより前記検出手段により検出された生体情報の人物を認識する認識手段と、
   前記情報取得手段が取得した各監視エリアの情報と、その情報から前記検出手段が検出した生体情報に対する前記認識手段による認識結果とに基づいて、予め設定した属性の人物が複数人同時に特定のエリア内に存在するか否かを判定するグループ判定手段と、
   このグループ判定手段により予め設定した属性の人物が複数人同時に特定のエリアに存在すると判定した場合、警報を外部機器へ出力する出力手段と、
   を有することを特徴とする人物認識装置。
2. 前記グループ判定手段は、前記情報取得手段により順次取得する各情報から同一グループに属する複数の人物の生体情報が所定期間以上継続的に検出された場合、それらの人物が接近した状態で行動していることを判定し、
   前記出力手段は、前記グループ判定手段により接近した状態で行動していると判定された複数の人物が検出された監視エリアに対応づけられているレベルの警報を外部機器へ通知する、
   ことを特徴とする前記請求項１に記載の人物認識装置。
3. 前記グループ判定手段は、前記情報取得手段により順次取得する各情報から特定のグループに属する人物を含む複数の人物の生体情報が所定期間以上継続的に検出された場合、それらの人物が接近した状態で行動していることを判定し、
   前記出力手段は、前記グループ判定手段により特定のグループに属する人物を含む複数の人物が接近した状態で行動していると判定した場合、当該特定のグループに対応づけられているレベルの警報を外部機器へ通知する、
   ことを特徴とする前記請求項１又は２の何れか１項に記載の人物認識装置。
4. 前記グループ判定手段は、前記情報取得手段により順次取得する各監視エリアの情報から同時間帯に同一グループに属する複数の人物の生体情報が検出された場合、それらの人物が当該エリア内に同じ時間帯に存在していたことを判定する、
   ことを特徴とする前記請求項１乃至３の何れか１項に記載の人物認識装置。
5. 前記グループ判定手段は、前記情報取得手段により順次取得する各監視エリアの情報のうち前記エリアの出入口に相当する複数の監視エリアの情報から同時間帯に同一グループに属する複数の人物の生体情報が検出された場合、それらの人物が当該エリア内に同じ時間帯に出入していたことを判定する、
   ことを特徴とする前記請求項１乃至４の何れか１項に記載の人物認識装置。
6. さらに、前記グループ判定手段による判定結果に基づいて複数の人物間の関連性の評価し、各人物間の評価に基づいて同一グループらしい複数の人物を判定し、同一グループらしいと判定した複数の人物のうち何れかの人物のグループ情報に基づいて他の人物のグループ情報を更新する関連性判定手段を有する、
   ことを特徴とする前記請求項１乃至５の何れか１項に記載の人物認識装置。
7. 前記関連性判定手段は、前記グループ判定手段により特別なグループに属する人物と集団行動していると判定された人物については、他の人物との関連性の評価をリセットする、
   ことを特徴とする前記請求項１乃至６の何れか１項に記載の人物認識装置。
8. 前記関連性判定手段は、前記情報取得手段により順次取得する各監視エリアの情報のうち前記エリアの出入口に相当する複数の監視エリアの情報から同時間帯に検出された複数の人物間の関連性を高く評価する、
   ことを特徴とする前記請求項１乃至７の何れか１項に記載の人物認識装置。
9. 人物を認識する人物認識装置に用いられる人物認識方法であって、
   １つのエリア内における複数の監視エリアごとに、各監視エリアに存在している人物の生体情報を含む情報を順次取得し、
   前記取得した各情報から少なくとも１人分の生体情報を検出し、
   前記検出した各生体情報と、グループ情報を対応づけて記憶手段に記憶されている少なくとも１人の登録者の生体情報とを照合することにより、前記取得した情報から検出した各生体情報の人物を認識し、
   前記取得した各監視エリアの情報と、その情報から検出された生体情報に対する認識結果とに基づいて、予め設定した属性の人物が複数人同時に特定のエリア内に存在するか否かを判定し、
   予め設定した属性の人物が複数人同時に特定のエリアに存在すると判定された場合、警報を外部機器へ出力する、
   ことを特徴とする人物認識方法。
10. 前記判定は、順次取得した各情報から同一グループに属する複数の人物の生体情報が所定期間以上継続的に検出された場合、それらの人物が接近した状態で行動していることを判定し、
    前記出力は、接近した状態で行動していると判定された複数の人物が検出された監視エリアに対応づけられているレベルの警報を外部機器へ通知する、
    ことを特徴とする前記請求項９に記載の人物認識方法。
11. 前記判定は、順次取得した各情報から特定のグループに属する人物を含む複数の人物の生体情報が所定期間以上継続的に検出された場合、それらの人物が接近した状態で行動していることを判定し、
    前記出力は、特定のグループに属する人物を含む複数の人物が接近した状態で行動していると判定した場合、当該特定のグループに対応づけられているレベルの警報を外部機器へ通知する、
    ことを特徴とする前記請求項９又は１０の何れか１項に記載の人物認識方法。
12. 前記判定は、順次取得した各監視エリアの情報から同時間帯に同一グループに属する複数の人物の生体情報が検出された場合、それらの人物が当該エリア内に同じ時間帯に存在していたことを判定する、
    ことを特徴とする前記請求項９乃至１１の何れか１項に記載の人物認識方法。
13. 前記判定は、順次取得した各監視エリアの情報のうち前記エリアの出入口に相当する複数の監視エリアの情報から同時間帯に同一グループに属する複数の人物の生体情報が検出された場合、それらの人物が当該エリア内に同じ時間帯に出入していたことを判定する、
    ことを特徴とする前記請求項９乃至１２の何れか１項に記載の人物認識方法。
14. さらに、前記判定による判定結果に基づいて複数の人物間の関連性の評価し、各人物間の評価に基づいて同一グループらしい複数の人物を判定し、同一グループらしいと判定した複数の人物のうち何れかの人物のグループ情報に基づいて他の人物のグループ情報を更新する、
    ことを特徴とする前記請求項９乃至１３の何れか１項に記載の人物認識方法。

Images