以下、本発明に係る実施の形態について図面を参照して説明する。
以下の各実施の形態では、認識対象者の顔の画像(生体情報)から得られた顔の特徴情報を予め登録されている少なくとも1つ以上の顔の特徴情報と照合することにより当該認識対象者を認識する人物認識装置について説明する。以下に説明する各実施の形態の人物認識装置は、顔以外の様々な生体情報により人物の認識を行なう方法に適用できる。たとえば、人物認識装置には、顔画像以外に、網膜、口、虹彩、指紋、掌紋、耳、人体の一部(手または指等)の静脈形状などの生体情報により人物を認識する方法が適用可能である。
また、各実施の形態では、特定の場所を通行する人物(通行者)を認識する人物認識装置としての通行者認識装置について説明する。各実施の形態の通行者認識装置は、たとえば、特定の人物のみが入退場を許可されるエリア(セキュリティエリア)への人物の入退場を管理する入退場管理システム、特定の機器などへのアクセスを制御するアクセス制御システム、特定の場所を通行する人物を監視員が監視するための人物の監視システム、あるいは、特定の条件に基づいて監視映像を記憶装置に記憶する監視映像の記録システムなどに適用されることが想定される。
なお、各実施の形態の通行者認識装置は、特に、認識対象者としての通行者が非常に多い場所における入退場管理あるいは人物の監視などを行うシステムに適用することを想定するものとする。たとえば、各実施の形態の通行者認識装置は、ビルディングあるいは企業の建物のエントランスを出入りする通行者を管理する入退場管理システム、あるいは、商用施設、娯楽施設あるいは交通機関などの多くの通行者が出入りする場所における人物の監視システムに適用されることを想定している。
まず、第1の実施の形態について説明する。
図1は、第1の実施の形態に係る人物認識装置としての通行者認識装置102を含む通行者認識システム100の構成例を概略的に示すものである。なお、図1は、通行者認識システム100がゲートの通行(入退場)を制御する入退場管理システムおよび人物の監視システムとして運用される場合の構成例を示している。
図1に示すように、通行者認識システム100は、カメラ101、通行者認識装置102、ゲート装置103、および、監視装置104などにより構成されている。
上記カメラ101は、生体情報としての顔画像を含む情報(画像)を取得するための装置である。上記カメラ101は、特定の場所(監視するエリア)の画像を撮影する。上記カメラ101では、ゲート装置103を通行しようとする通行者Mの顔画像(少なくとも顔を含んでいる画像)を撮影するようになっている。上記カメラ101は、動画(所定のフレームレートの連続する画像)を撮影するカメラである。たとえば、上記カメラ101は、CCDセンサなどの撮像素子によりテレビジョンカメラなどにより構成される。上記カメラ101は、撮影した画像を上記通行者認識装置102に供給するようになっている。なお、生体情報を含む情報を取得するための装置としては、カメラの代わりに、スキャナなどの情報入力装置を用いるようにしても良い。
また、当該通行者認識システム100の運用形態によっては、通行者を検知するための補助手段として、上記カメラ101の近傍に人物を検知するためのセンサ101aを設置するようにしても良い。上記カメラ101の近傍に設置されるセンサ101aとしては、たとえば、カメラ101により撮影されている人物からカメラ101までの距離を検出するための距離センサ、カメラ101により撮影されている人物の移動速度を計測するための速度計測器などがある。上記のようなセンサで検出した情報は、カメラ101で撮影した画像に対する補助情報として上記通行者認識装置102へ供給されるようにすれば良い。
上記通行者認識装置102は、上記カメラ101が撮影した画像から検出される顔画像の人物を認識するものである。また、上記通行者認識装置102は、人物の認識結果をゲート装置103へ出力するようになっている。上記通行者認識装置102では、上記カメラ101により撮影した画像を取得(入力)し、入力した画像から顔の特徴情報の抽出し、抽出した顔の特徴情報と予め記憶装置に記憶(登録)されている登録者の顔の特徴情報とを照合する。また、上記通行者認識装置102は、順次、カメラ101から入力する画像に対する照合結果と所定の条件とに基づいて認識された人物に対するグループ判定を行う。上記通行者認識装置102は、上記のような照合結果とグループ判定の結果とをゲート装置103および監視装置104へ出力する。
上記ゲート装置103および上記監視装置104は、上記通行者認識装置102による処理結果等の出力に応じて動作する外部装置である。上記ゲート装置103あるいは上記監視装置104は、当該システムの運用形態に応じて設置されるものである。上記ゲート装置103あるいは上記監視装置104は、当該システムの運用形態によっては省略するようにして良い。
上記ゲート装置103は、人物(通行者)の通行を制御するための装置である。上記ゲート装置103は、たとえば、ゲート(図示しない)、ゲートの開閉を制御するための制御機構(図示しない)、および、上記通行者認識装置102とのデータ通信を行うためのインターフェース(図示しない)などにより構成される。図1に示す構成例では、上記ゲート装置103は、図示しないゲートの開閉を制御することにより、通行者の通行(入退場)を制御する。すなわち、当該通行者認識システムがゲートの通行を制御する入退場管理システムとして運用される場合、上記ゲート装置103は、上記通行者認識装置102による処理結果(通行者に対する認識結果)に応じて通行者の通行を制御するように動作する。
上記監視装置104は、監視員が所定のエリアの監視を行うための装置である。上記監視装置104は、監視員に対して情報を報知するための構成を有している。たとえば、上記監視装置104は、情報を表示するための表示装置(図示しない)、警報を発するための警報装置(図示しない)、監視員が操作指示を入力するための操作部(図示しない)、および、上記通行者認識装置102とのデータ通信を行うためのインターフェース(図示しない)などにより構成される。図1に示す構成例では、上記監視装置104は、上記カメラ101が撮影しているエリア(ゲート装置103の近傍のエリア)における人物(通行者)を監視する。すなわち、当該通行者認識システムが所定のエリアにおける人物の監視を行う監視システムとして運用される場合、上記監視装置104は、上記通行者認識装置102による処理結果(通行者に対する認識結果)などの情報を監視者に対して報知(表示、あるいは、音声による警告等)するように動作する。
次に、上記通行者認識装置102の構成例について説明する。
また、上記通行者認識装置102は、入力部(画像入力部)111、制御部112、出力部113、および、記憶部114などにより構成されている。さらに、上記制御部112は、特徴検出部121、認識部122、および、グループ判定部123などを有している。
上記入力部111は、画像などの情報を入力するためのインターフェースである。また、上記入力部111は、入力した画像情報に対して画像処理を施す機能も有している。すなわち、上記入力部111は、上記カメラ101から供給される画像情報(カメラ101が撮影した画像)を取り込む。上記入力部111は、上記カメラ101から取得した画像情報に対して所定の画像処理を施し、所定の画像処理を施した画像情報を上記制御部112へ供給する。たとえば、上記カメラ101から取得する画像情報がアナログ信号である場合、上記入力部111は、取り込んだ画像情報をA/D変換することによりデジタル化した画像情報を上記制御部112へ供給する。上記入力部111は、所定の画像処理を施した画像情報を上記制御部112から読出し可能な状態で図示しないバッファメモリに蓄積するようにしても良い。
上記制御部112は、CPUなどの演算処理器(図示しない)、ワーキングメモリ、プログラムメモリおよびデータメモリなどの内部メモリ(図示しない)、各部とのデータの入出力を行うための内部インターフェース(図示しない)などにより構成される。上記制御部112では、演算処理器がプログラムメモリなどに記憶されている種々のプログラムを実行することにより種々の機能を実現している。このような機能として、上記制御部112は、たとえば、図1に示すような、特徴検出部121、認識部122およびグループ判定部123などの機能を有している。
上記特徴検出部121は、上記入力部111により上記カメラ101から取り込んだ画像情報から顔の特徴情報(生体情報)を検出する処理を行うものである。上記特徴検出部121は、上記入力部111により取り込んだ入力画像から顔領域の画像を検出する処理(顔検出処理)と、顔検出処理により検出された顔領域の画像から顔の特徴情報を抽出する処理(特徴抽出処理)とを実行する。
上記認識部122は、上記カメラ101により撮影された人物が上記記憶部114に顔の特徴情報(生体情報)が記憶されている人物(登録者)であるか否かを判定する人物の認識処理を行う。すなわち、上記認識部122は、上記特徴検出部121により検出された顔の特徴情報と記憶部114に記憶されている顔の特徴情報とを照合する照合処理と、その照合処理による照合結果に基づいて上記特徴検出部121により検出された顔の特徴情報が上記記憶部114に記憶されている何れかの顔の特徴情報と一致するか否かを判定する判定処理を行う。
上記グループ判定部123は、上記認識部122により認識された人物に対するグループを判定する処理を行う。すなわち、上記グループ判定部123では、上記認識部122により認識された各人物をグループの候補に分け、グループ候補の各人物についてグループを判定する。
なお、上記特徴検出部121、上記認識部122および上記グループ判定部123における処理については、後で詳細に説明する。
上記記憶部114は、登録者に関する情報を記憶するものである。上記記憶部114には、各登録者の生体情報としての顔の特徴情報(あるいは、顔画像)と、各登録者が属するグループを示すグループ情報とが対応づけて記憶される。本第1の実施の形態では、上記記憶部114には、上記のような情報が予め記憶されているものとする。上記記憶部114に記憶されている情報については、後で詳細に説明する。
上記出力部113は、上記認識部122による認識結果あるいは上記グループ判定部123のグループ判定結果などに基づいて、制御信号あるいは表示データなどの情報をゲート装置103あるいは監視装置104(外部装置)へ出力するようになっている。たとえば、上記出力部113は、上記ゲート装置103に対して、上記認識部122による認識結果あるいは上記グループ判定部123による判定結果などに応じた各通行者に対する通行の可否(ゲートの開閉)を示す制御信号を出力する。また、上記出力部113は、上記監視装置104に対して、上記認識部122による認識結果および上記グループ判定部123によるグループ判定の結果などの情報(画像あるいは音声などのデータ)を出力する。この場合、上記出力部113は、上記のような情報とともに、上記カメラ101により撮影された映像情報を出力するようにしても良い。
次に、上記特徴検出部121について詳細に説明する。
上記特徴検出部121は、入力画像から顔領域の画像を検出する顔検出処理と、顔領域の画像から顔の特徴情報を抽出する特徴抽出処理とを行う。
まず、上記特徴検出部121における上記顔検出処理について詳細に説明する。
上記顔検出処理は、まず、上記入力部111により入力した画像(カメラ101で撮影された画像)から顔の領域を検出する。顔の領域を検出する手法としては、たとえば、予め用意されいるテンプレートを画像内で移動させながら相関値を求め、最も高い相関値を与える領域を顔領域とする。なお、顔の領域を検出する手法としては、固有空間法、あるいは、部分空間法を利用した顔領域の抽出方法を用いても良い。
上記顔検出処理では、次に、検出された顔の領域の画像において、目、鼻、口などの顔における特定の部位の位置を検出する。その検出方法としては、たとえば、文献[2](福井和広、山口修:「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌(D),vol.J80−D−II,No.8,pp2170−2177(1997年))に開示されている方法などを用いることが可能である。
なお、顔全体ではなく、顔における特定の部位の画像から得られる生体情報を用いて人物の認識を行う人物認識装置では、上記顔検出処理により検出された所望の部位の画像をズームアップし、そのズームアップした画像により生体情報を抽出する処理を行うようにすることも可能である。これは、たとえば、上記顔検出処理により検出された所望の部位の位置をズームアップするように上記カメラ101を制御することにより実現可能である。この場合、カメラ101は、所望の部位の位置をズームアップした画像を撮影し、その画像を人物認識装置へ供給する。たとえば、虹彩あるいは網膜などの目の画像から得られる生体情報を用いて人物の認識を行う人物認識装置では、上記顔検出処理により検出された目の領域をズームアップし、その目の領域をズームアップした画像を取得することが可能である。
また、上記目、鼻の検出の他に、口領域の検出については、たとえば、文献[3](湯浅真由美、中島朗子:「高精度顔特徴点検出に基づくデジタルメイクシステム」第101回画像センシングシンポジウム予稿集,pp219−224(2004年))の技術を用いることも可能である。
また、指紋あるいは静脈のパターンについても、パターンマッチング等を利用した一般的な認識技術を用いることが可能である。
上述したようないずれの手法であっても、2次元配列状の画像情報を取得し、その画像情報から生体情報を検出することが可能である。
また、上述した処理によれば、1つの画像から1つの顔領域の画像(生体情報)だけを抽出するには、1つの画像全体に対してテンプレートとの相関値を求め、その相関値が最大となる1つの領域の位置とサイズを1つの顔領域として判定すればよい。これに対して、1つの画像から複数の顔領域の画像(生体情報)を抽出するには、1つの画像全体に対する相関値の複数の局所的な最大値を求め、それらの相関値が局所的な最大値となる各領域について他の領域との重なりを考慮して顔領域の候補を絞り込む。さらに、連続して画像(動画)が入力画像として得られる場合、過去の入力画像との関係性(時間的な推移)も考慮することにより、複数の顔領域の候補を絞り込むことも可能となる。
図2は、複数の顔領域が存在する画像の例を示す図である。図2に示すような1つの画像が入力された場合、上記顔検出処理では、図2に破線で示す複数の領域A〜Dを、入力画像における顔領域として検出する。すなわち、図1に示すようなシステム構成において、同時に複数の通行者がゲート装置103に歩行してきた場合、上記カメラ101は、それらの通行者を1つの画像内で同時に撮影する。たとえば、同時に4人の通行者が撮影領域内に存在する場合、上記カメラ101は、図2に示すような画像を撮影する。この場合、上記顔検出処理では、各通行者の顔領域として、領域A〜Dを検出する。
次に、上記特徴検出部121における上記特徴抽出処理について詳細に説明する。
上記特徴検出部121おける特徴抽出処理は、上記顔検出処理により検出された顔領域の画像から顔の特徴情報(特徴量)を抽出する処理である。上記特徴抽出処理は、たとえば、上記顔検出処理により検出された顔領域の画像と特定の部位の位置とに基づいて、顔領域の画像を所定の大きさ、かつ、所定の形状(たとえば、mピクセル×nピクセルの画像)に変換し、その顔領域の画像における各画素の濃淡情報を顔の特徴情報(特徴量)とする。また、mピクセル×nピクセルの顔領域の画像における各画素の濃淡値を顔の特徴情報は、m×n次元の情報からなる特徴ベクトルとして表される。上記のような顔の特徴情報としての特徴ベクトルは、たとえば、単純類似度法という手法により、別の特徴ベクトルとの類似度が算出される。単純類似度法では、各ベクトルの長さをそれぞれ「1」とするように正規化し、それらの正規化されたベクトル同士の内積を計算する。これにより2つのベクトル間の類似性を示す類似度が求められる。
1つの画像で認識処理を行う場合、人物の顔の特徴情報は、上述した手法により、1つの画像から特徴ベクトルとして抽出される。これに対して、連続した複数の画像(動画像)で認識処理を行う場合、連続する複数の画像から顔の特徴情報を生成する部分空間法という手法が適用可能である。部分空間方法では、まず、連続する複数の入力画像について、それぞれ上述した手法と同様な手法により、m×nピクセルの顔領域の画像における濃淡値からなる特徴ベクトルを生成する。連続する複数の入力画像から複数の特徴ベクトルが得られると、部分空間法では、これらの特徴ベクトルの相関行列(または、共分散行列)を求める。相関行例が得られると、部分空間法では、その相関行列について周知のK−L展開を行うことにより正規直交ベクトル(固有ベクトル)を求める。
上記のように求められる正規直交ベクトルにより連続した画像から得られる顔の特徴情報としての部分空間が算出される。上記部分空間は、固有値の大きな順にk個選んだ固有ベクトルの集合を用いて表現される。上記部分空間は、複数の入力画像から得られる複数の特徴ベクトルから算出される相関行列Cdを用いて、以下の数式1により固有ベクトルの行列Φとして算出される。
Cd=ΦdΛdΦdT…(数式1)
上記部分空間が、認識対象とする人物の顔の特徴情報となる。たとえば、図2に示す例のように、複数の顔領域(4人の通行者の顔領域)A〜Dが検出された場合、上記特徴抽出処理が、各顔領域A〜Dに対して、上述したような処理を繰り返し実行される。これにより、4人の通行者の顔の特徴情報として、4つの部分空間A〜部分空間Dが計算される。なお、上記記憶部114には、登録者の顔の特徴情報として、上述したような手法により算出される部分空間を登録するようにすれば良い。
次に、上記記憶部114に記憶される登録情報について詳細に説明する。
上記記憶部114には、入力画像(入力画像から得られる顔の特徴情報)と照合される登録者(たとえば、ゲートの通行が許可されている人物)に関する情報が記憶される。上記記憶部114には、登録者に関する情報として、登録者の顔を含む画像(登録用の顔画像)から得られる登録者の顔の特徴情報などが予め記憶される。
図3は、上記記憶部114に記憶されている登録者に関する情報(登録情報)の例を示す図である。図3に示す例では、各登録者について、識別情報、顔の特徴情報、顔画像、グループ情報などが記憶部114に記憶されている。
上記識別情報は、登録者を識別するための情報である。たとえば、上記識別情報は、登録者の氏名、および、登録者に与えられているID情報などである。上記顔の特徴情報は、入力画像から得られる顔の特徴情報と照合するための情報(登録者の顔の特徴情報)である。上記顔の特徴情報は、上述した特徴抽出処理に用いられる手法により、登録用の顔画像から生成される情報である。上記顔画像は、登録用の登録者の顔を含む画像(登録用の画像全体、あるいは、登録用の画像から検出された顔領域の画像)である。
なお、上記記憶部114には、顔の特徴情報として、連続する複数の登録用の顔画像から生成される部分空間を記憶するようにしても良いし、各登録用の顔画像から生成された特徴ベクトルを記憶するようにしても良いし、特徴抽出処理を実行する前の顔画像(入力画像から検出された顔領域の画像)を記憶するようにしても良いし、あるいは、K−L展開を行なう前の相関行列を記憶するようにしても良い。ここでは、連続する複数の画像から得られる部分空間が登録者の顔の特徴情報として記憶部114に登録されるものとする。
また、上記記憶部114には、1人の登録者に対して1つの顔の特徴情報を記憶するようにしても良いし、1人の登録者に対して複数の顔の特徴情報を記憶するようにしても良い。1人の登録者に対して複数の顔の特徴情報を記憶する場合、上記認識部122は、各登録者について、当該登録者の全ての特徴情報と入力画像から得られた顔の特徴情報とを照合するようにしても良いし、入力画像の撮影条件等に基づいて選択した顔の特徴情報と入力画像から得られた顔の特徴情報とを照合するようにしても良い。
上記グループ情報は、登録者が属するグループを示す情報である。上記記憶部114には、各登録者に対応づけて、各登録者がどのグループに属しているかを示す情報が記憶されている。さらに、各グループには、重要度、警戒度(要注意度)、補助の必要性(補助の要否)などのグループの特徴を示す情報がグループ番号などに対応づけて記憶されている。図3に示す例では、グループの特徴を示す情報として、「重要顧客」のグループ(グループ番号1)、「社長家族」のグループ(グループ番号2)、「要注意集団」のグループ(グループ番号3)などの情報が記憶されている。
次に、上記認識部122について詳細に説明する。
上記認識部122は、カメラ101が撮影した画像に含まれる顔画像の人物が記憶部114に記憶されている何れかの登録者であるか否かを認識するものである。上記認識部122では、カメラ101が撮影した入力画像から得られる顔の特徴情報と上記記憶部114に記憶されている各登録者の顔の特徴情報との類似度を算出する。各登録者の顔の特徴情報との類似度が算出されると、上記認識部122は、算出した各類似度に基づいて、入力画像に含まれる顔画像の人物がどの登録者と一致するかを判定する。たとえば、最大類似度が所定の値以上である場合、上記認識部122は、入力画像に含まれる顔画像の人物が、最大類似度となった登録者であると認識する(入力画像に含まれる顔画像の人物が最大類似度となった登録者であると認識する)。また、最大の類似度が所定の値未満である場合、上記認識部122は、入力画像から検出された顔の特徴情報がどの登録者の顔の特徴情報とも一致しないと認識する(入力画像に含まれる顔画像の人物が登録者でないと認識する)。
顔の特徴情報同士の類似度を算出する方法は、相互部分空間法あるいは複合類似度法などの手法を適用することが可能である。たとえば、相互部分空間法は、文献[4](前田賢一、渡辺貞一:「局所的構造を導入したパターン・マッチング法」,電子情報通信学会論文誌(D),vol.J68−D,No.3,pp345〜352(1985年))に記載されている。この相互部分空間法は、部分空間同士の類似度を算出するための手法である。上記相互部分空間法では、2つの部分空間のなす「角度」が類似度として定義される。従って、上記認識部122が上記相互部分空間法により類似度を算出する場合、上記記憶部114に記憶される登録者の顔の特徴情報、および、上記カメラ101から入力する入力画像(連続する複数の画像)から得られる顔の特徴情報は、共に部分空間が用いられる。ここで、入力画像から得られる部分空間は、入力部分空間と称するものとする。また、記憶部114に記憶される登録者の顔の特徴情報としての部分空間は、辞書部分空間と称するものとする。
連続する複数の入力画像から得られる相関行列Cinと固有ベクトルΦinとには、以下の数式2に示すような関係式が成立する。従って、入力部分空間Φinは、以下の数式2に示す相関行列Cinと国有ベクトルΦinとの関係式により算出される。
Cin=ΦinΛinΦinT…(数式2)
従って、入力画像に含まれる顔画像の人物(入力画像群から得られる顔の特徴情報)と登録者(登録者の顔の特徴情報)との類似度は、入力部分空間Φinと辞書部分空間Φdとの類似度(0〜1)として算出される。
また、各入力画像(1フレームの画像)に複数の人物の顔画像が存在する場合、上記認識部122は、それぞれの顔画像から得られる顔の特徴情報と上記記憶部114に記憶されている各登録者の顔の特徴情報との類似度を算出する。すなわち、上記認識部122は、入力画像に含まれる複数の顔画像から得られる複数の顔の特徴情報と上記記憶部114に記憶されている各登録者の顔の特徴情報との類似度を総当りで算出する。これにより、上記認識部122は、入力画像に含まれる全ての人物の顔画像と登録者の顔画像との認識結果を得ることができる。たとえば、上記カメラ101がX人の人物の顔を撮影した場合、Y人の登録者の登録情報が存在すれば、上記認識部122は、X×Y回の類似度の演算処理を行なう。これにより、上記認識部122は、X人全員に対する認識結果を得ることができる。
また、m個の入力画像から得られた入力部分空間がどの登録者の辞書部分空間とも一致しない場合、上記認識部122では、次に取得する入力画像(m+1個目のフレーム画像)により更新された入力部分空間により再度認識処理(類似度の算出処理)を実行するようにしても良い。この場合、入力部分空間の更新は、取得した入力画像から得られる特徴ベクトルを過去の複数のフレームで作成された相関行列の和に追加し、再度固有ベクトルの計算することにより可能となる、
すなわち、上記カメラ101が連続的に画像を撮影する場合(上記カメラ101が通行者の顔画像を連続して撮影する場合)、上記通行者認識装置102では、上記カメラ101から順次取得する画像により入力部分空間を更新しながら認証処理を実行することが可能である。この場合、徐々に入力部分空間を構成するための入力画像の数が多くなるため、徐々に精度が高くなることが期待できる。
次に、上記グループ判定部123について詳細に説明する。
上記グループ判定部123は、上記認識部122で認識された複数の人物についてグループを判定するグループ判定処理(組合せ判定処理)を行う。上記グループ判定部123は、上記認識部122で認識された複数の人物を所定の条件に応じてグループ分けしたグループ候補を判定する。さらに、上記グループ判定部123は、グループ候補の各人物(登録者)のグループ情報に基づいてグループ(グループ名、人数など)を判定する。
グループ候補の判定では、所定の条件に基づいてグループ候補となる複数の人物が選出される。たとえば、グループ候補としては、1つの画像から検出された複数の人物(同時に上記カメラ101で撮影された複数の人物)をグループの候補としたり、所定時間内に上記カメラ101で撮影された画像から検出された人物をグループの候補としたりする。また、複数の箇所に複数のカメラ101が設置されている運用形態では、複数の場所で同時間帯に撮影された画像から検出された人物をグループ候補として判定するようにしても良い。
また、グループの判定は、グループ候補と判定された各人物(登録者)のグループ情報に基づいて判定される。すなわち、グループ候補の各人物は、グループ情報により最終的にグループが判定される。このようなグループ判定の結果としては、どのグループが何人というような情報が得られる。上記グループ判定部123では、上記のようなグループ判定の結果を上記出力部113へ供給するようになっている。
図4は、グループ判定処理の結果の例を示す図である。
図4に示す例では、ゲート1に設置されているカメラが撮影した画像から、グループ1の人物が3名、グループ2の人物が2名、認識されたことを示している。たとえば、図2に示すような1つの画像から検出された4人の顔画像が図3に示す人物(登録者)A〜Dの顔画像であると認識された場合、図3を参照すれば、グループ判定処理では、人物A、B、Cがグループ1と判定され、人物C、Dがグループ2と判定される。この場合、グループ判定の結果は、図4に示すように、グループ1の人物が3名、グループ2の人物が2名となる。
なお、図4に示すグループ判定の結果は、全ての人物が登録者であると認識された場合の例である。もし事前に登録されている登録者でない人物がゲート装置103を通行しようとした場合、当該人物は、当然ながら、登録者として認識されない。この場合、登録者として認識されなかった人物は、未登録者としてカウントアップされる。なお、未登録者としてカウントアップされた未登録者の数は、グループ判定の結果として上記出力部113により出力される。
また、図4に示すようなグループ判定結果を監視装置104に表示すれば、上記監視装置104の監視員は、グループ1に属する3名の人物とグループ2に属する2名の人物とが上記カメラ101で撮影されたということを迅速かつ容易に認知できる。この結果として、監視員は、各グループの人物への応対などをスムーズに行なうことができる。また、監視員は、各グループの人数に合わせた適切な応対などもスムーズに実行できる。
次に、上記出力部113について詳細に説明する。
上記出力部113は、当該通行者認識装置102における処理結果を外部へ出力するためのインターフェースである。上記出力部113が外部へ出力する情報は、システム全体の構成あるいは運用形態に応じて適宜設定できる。上記出力部113は、上記カメラ101で撮影された画像、上記特徴検出部121から得られる顔領域の画像あるいは顔の特徴情報、上記グループ判定部123によるグループ判定の結果などの情報を外部装置(ゲート装置103、監視装置104)へ出力可能である。たとえば、上記出力部113は、上記認識部122の認識結果に応じたゲートの開閉を指示する制御信号を上記ゲート装置103へ出力する。また、上記出力部113は、上記カメラ101で撮影された画像、上記特徴検出部121から得られる顔領域の画像あるいは顔の特徴情報、上記グループ判定部123によるグループ判定の結果などの情報を表示データとして監視装置104へ出力する。
次に、上記第1の実施の形態に係る通行者認識システム100における処理の流れについて説明する。
図5は、第1の実施の形態に係る通行者認識システム100における処理を説明するためのフローチャートである。
まず、上記カメラ101では、所定の撮影領域の画像を撮影しているものとする。図1に示すような構成例では、ゲート装置103が形成している通路を撮影している。上記カメラ101が撮影した画像は、上記通行者認識装置102の入力部111に供給される。上記通行者認識装置102の入力部111では、上記カメラ101で撮影された画像を入力画像として順次入力する(ステップS101)。上記通行者認識装置102の制御部112では、上記特徴検出部121により入力画像について人物の顔を検出する処理を行う(ステップS102)。上記特徴検出部121により入力画像から人物の顔が検出された場合、上記特徴検出部121は、顔検出処理および顔の特徴情報を抽出する特徴抽出処理を行う。これにより、上記特徴検出部121は、入力画像に含まれる人物の顔の特徴情報を検出する(ステップS103)。
また、顔の特徴情報として上記入力部分空間を生成する場合、上記特徴検出部121は、順次入力される入力画像から入力部分空間を生成する。また、1つの入力画像に複数の人物の顔画像が含まれている場合、上記特徴検出部121は、当該入力画像から検出される全ての人物の顔画像からそれぞれ顔の特徴情報を検出する。
上記特徴検出部121により入力画像から顔の特徴情報を検出すると、上記認識部122は、入力画像から検出された顔の特徴情報が、上記記憶部114に記憶されている何れかの登録者の顔の特徴情報と一致するかを判定する。つまり、上記認識部122では、入力画像に含まれる顔画像の人物が何れかの登録者であるかを判定する人物の認識処理を行う(ステップS104)。上記認識部122による認識処理では、入力画像から検出された顔の特徴情報の人物がどの登録者であるか、あるいは、未登録者であるかを示す情報が人物の認識結果として得られる。上記認識部122による認識処理の結果は、上記出力部113へ供給されるとともに上記グループ判定部123に供給される。なお、上記出力部113では、認識結果に応じてゲート装置103にゲートの開閉を示す制御信号を出力したり、入力画像とともに認識結果を監視装置104に出力したりする。
上記グループ判定部123は、上記認識部122から供給される認識結果を図示しない内部メモリに記憶するものとする。なお、上記グループ判定部123に供給される認識処理の結果としては、人物の認識結果(どの登録者であるか、あるいは、未登録者であるか)を示す情報とともに、当該人物の顔画像を検出した入力画像の撮影時間などの情報も含まれるものとする。
上記グループ判定部123では、上記認識部122により認識された人物についてグループ判定を行う。ここでは、同時に撮影された複数の人物(1つの入力画像が検出された複数の人物)あるいは所定時間内に撮影された人物をグループ候補とするものとする。また、上記グループ判定部123には、上記認識部122から各人物の認識結果が順次供給されるものとする。上記認識部122により認識結果が供給されると、上記グループ判定部123は、当該認識結果が得られた入力画像から別の人物の顔が検出されているか否かを判定する。つまり、上記グループ判定部123では、1つの入力画像から複数の人物(同時に撮影された複数の人物)の顔が検出されているか否かを判定する(ステップS105)。さらに、上記グループ判定部123は、所定時間内に撮影された入力画像から複数の人物の顔が検出されているか否かを判定する(ステップS106)。
1つの入力画像あるいは所定時間内に撮影された入力画像から複数の人物の顔が検出されたと判定した場合(ステップS105でYES、あるいは、ステップS106でYES)、上記グループ判定部123は、それらの人物をグループ候補とする(ステップS107)。認識された人物がグループ候補と判定された場合、上記グループ判定部123は、当該人物のグループ情報に基づいて当該人物が属するグループを判定する(ステップS108)。グループを判定すると、上記グループ判定部123は、上記グループ候補における各グループごとの人数をカウントアップする(ステップS109)。認識された人物をグループ情報に基づいてカウントアップすると、上記グループ判定部123は、当該グループ候補における各グループごとの人数を示す情報をグループ判定の結果として出力部113へ出力する(ステップS110)。
たとえば、図2に示すように1つの入力画面から図3に示す人物A、B、C、Dの4人が順に認識された場合、上記グループ判定部123は、人物A、B、C、Dの4人をグループ候補とする。さらに、上記グループ判定部123は、各人物の認識結果が得られるごとに、各人物のグループの人数をカウントアップする。すなわち、図3に示す登録情報に従えば、上記グループ判定部123は、人物Aが認識された場合、グループ1をカウントアップし、人物Bが認識された場合、グループ1をカウントアップし、人物Cが認識された場合、グループ1およびグループ2をカウントアップし、人物Dが認識された場合、グループ1をカウントアップする。このようなグループ判定の結果としては、図4に示すような情報が得られる。
また、所定時間内に撮影された入力画像から複数の人物の顔が検出されたと判定した場合(ステップS106でNO)、上記グループ判定部123は、上記認識部122により認識された人物についてグループ候補なしと判定する(ステップS111)。この場合、当該通行者認識装置102は、上記ステップS101へ戻り、上記処理を繰り返す。
上記のような第1の実施の形態では、予め登録者の顔の特徴情報とグループ情報とを対応づけて記憶部に記憶しておき、カメラ101が撮影した画像から通行者の顔の特徴情報を検出し、検出した通行者の顔の特徴情報と記憶部に記憶されている登録者の顔の特徴情報とを照合することにより通行者を認識し、さらに、認識された通行者を上記記憶部に記憶されている各登録者のグループ情報に基づいてグループ分けし、グループ分けした結果を外部装置へ出力する。
これにより、上記第1の実施の形態によれば、上記通行者認識装置が、所定の場所(カメラが撮影する領域)に「どのようなグループの人物が何人」現れたのかを監視装置などの外部装置へ通知できる。これにより、上記外部装置では、所定の場所に「どのようなグループの人物が何人」現れたのかを監視者に報知することが可能となる。この結果として、たとえば、重要顧客のグループが現れた場合、監視者は、来客に対する応対の準備を迅速に行うことができる。また、要注意人物のグループが現れた場合、監視者は、警戒のための警備員を配備したり、監視映像の記録をスタートしたりするなどの対応が迅速に行える。また、要注意人物を含むグループについては、登録者であっても、ゲート装置のゲートを閉じるなどの制御を行うことも可能となる。
次に、第2の実施の形態について説明する。
図6は、第2の実施の形態に係る人物認識装置としての通行者認識装置202を含む通行者認識システム200の構成例を概略的に示すものである。
図6に示すように、通行者認識システム200は、カメラ201、通行者認識装置202、および、ゲート装置203、監視装置204などにより構成されている。また、上記通行者認識装置202は、入力部(画像入力部)211、制御部212、出力部213、および、記憶部214などにより構成されている。さらに、上記制御部212は、特徴検出部221、認識部222、および、グループ判定部223などを有している。
なお、図6に示す通行者認識システム200における、カメラ201、ゲート装置203、監視装置204、入力部(画像入力部)211、出力部213、特徴検出部221および認識部222は、図1に示す通行者認識システム100における、カメラ101、ゲート装置103、監視装置104、入力部(画像入力部)111、出力部113、特徴検出部121および認識部122の構成とほぼ同様な構成であるため、詳細な説明を省略するものとする。
この第2の実施の形態に係る通行者認識システム200と第1の実施の形態で説明した通行者認識システム100とは、各人物をグループ分けするための情報が異なっている。第1の実施の形態に係る通行者認識システム100では、各人物をグループ分けするための情報として、各登録者のグループ名などを示すグループ情報が登録されているものとしている。このグループ情報は、直接的に各人物をグループ分けする情報である。このため、通行者認識システム100では、予め各登録者をグループ分けして登録しておき、その情報を記憶部に記憶しておく必要がある。
これに対して、第2の実施の形態に係る通行者認識システム200では、各人物をグループ分けするための情報として、各登録者の属性情報が登録されているものとする。従って、通行者認識システム200では、各登録者の属性情報に基づいて各人物のグループを判定する。また、上記属性情報は、種々の情報を登録することが可能である。上記属性情報としては、たとえば、年齢、性別、重要度、警戒度、補助の要否などの情報が考えられる。このような属性情報のうちグループ分けの対象とする情報を設定しておけば、上記通行者認識装置202では、設定された情報に応じてグループ分けした情報をグループ判定の結果として出力する。たとえば、グループ分けの情報として年齢あるいは性別を設定しておけば、上記通行者認識装置202は、年齢あるいは性別でグループ分けしたグループ判定の結果を出力する。また、グループ分けの情報として重要度、警戒度あるいは補助の要否を設定しておけば、上記通行者認識装置202は、重要度、警戒度あるいは補助の要否でグループ分けしたグループ判定の結果を出力する。
以下、上記通行者認識システム200の各部について詳細に説明する。
まず、上記記憶部214は、識別情報、顔の特徴情報、顔画像、属性情報(年齢、性別、重要度、警戒度、補助の要否など)が各登録者ごとの登録情報として記憶される。上記識別情報、顔の特徴情報および顔画像は、第1の実施の形態で説明した上記記憶部114に記憶される識別情報、顔の特徴情報および顔画像情報と同様である。すなわち、上記記憶部214には、上記第1の実施の形態で説明した記憶部114に記憶されるグループ情報の代わりに、人物属性情報が記憶されている点が異なっている。
図7は、上記記憶部214に記憶される各登録者ごとの登録情報の例を示す図である。図7に示す例では、各登録者ごとに、識別情報、顔の特徴情報および顔画像などの情報と対応づけられた属性情報として、年齢、性別、重要度、警戒度、補助の要否などの情報が記憶されている。
上記グループ判定部223は、上記第1の実施の形態で説明したグループ判定部123と同様にグループ候補の判定とグループ判定とを行う。グループ候補は、上記グループ判定部123と同様な処理により判定される。上記グループ判定部223におけるグループ判定では、グループ候補の各人物(登録者)を各人物(登録者)の属性情報のうち所定の情報に基づいてグループ分けし、グループ分けした各グループの人数をカウントアップする。また、上記グループ判定部223は、グループ分けのための情報として、上記記憶部214に記憶されている属性情報のうち特定の情報(1つ又は複数)が予め設定されているものとする。ただし、グループ分けの情報は、操作員が適宜設定するようにしても良いし、上記監視装置204の図示しない操作部により監視員が適宜設定するようにしても良い。
図8は、上記グループ判定部223におけるグループ判定処理の結果の例を示す図である。
図8に示す例では、ゲート1に設置されているカメラが撮影した画像から、2名の重要人物と補助が必要な1名の人物とが認識されたことを示している。ここで、図7に示すような登録情報が記憶部214に記憶されているとすれば、図8に示すようなグループ判定の結果は、人物B、C、Dがグループ候補として検出された場合に得られる。これは、図7に示す例において、人物Cおよび人物Dの属性情報では重要度が重要となっており、人物Bの属性情報では要補助となっているためのである。
また、図8に示すようなグループ判定結果を監視装置204に表示すれば、上記監視装置204の監視員は、2名の重要人物と1名の要補助の人物とが上記カメラ201で撮影されたという情報が容易に認知できる。この結果として、監視員は、重要人物に対してスムーズ、かつ、適切な対応ができ、要補助の人物に対して車椅子の準備あるいは道案内などの適切な対応できる。
次に、上記第2の実施の形態に係る通行者認識システム200における処理の流れについて説明する。
図9は、第2の実施の形態に係る通行者認識システム200における処理を説明するためのフローチャートである。
なお、図9に示すステップS201〜S207、S209〜S211の各処理は、図5に示すステップS201〜S207、S209〜S211の各処理と同様であるための詳細な説明を省略する。
すなわち、上記通行者認識装置202では、上記認識部222により認識された人物をグループ候補とした場合、上記グループ判定部123により当該人物の属性情報のうち所定のグループ分けの情報に基づいて当該人物のグループを判定する(ステップS208)。各人物のグループを判定すると、上記グループ判定部123は、上記グループ候補における各グループごとの人数をカウントアップする(ステップS209)。なお、ここでは、グループ候補ごとに各グループの人数をカウントアップしている。上記グループ判定部123は、当該グループ候補における各グループごとの人数を示す情報をグループ判定の結果として出力部113へ出力する(ステップS210)。
たとえば、図7に示す人物B、C、Dの3人がグループ候補として判定された場合、上記グループ判定部123は、各人物の属性情報に基づいてグループ分けし、各グループの人数をカウントアップする。すなわち、図7に示す登録情報に従えば、上記グループ判定部123は、人物Bが認識された場合、要補助の人数(要補助のグループ)をカウントアップし、人物Cが認識された場合、重要人物の人数(重要人物のグループ)をカウントアップし、人物Dが認識された場合、重要人物の人数(重要人物のグループ)をカウントアップする。このようなグループ判定の結果としては、図8に示すような情報が得られる。
上記のような第2の実施の形態に係る通行者認識システムでは、予め登録者の顔の特徴情報と種々の属性情報とを対応づけて記憶部に記憶しておき、カメラ101が撮影した画像から通行者の顔の特徴情報を検出し、検出した通行者の顔の特徴情報と記憶部に記憶されている登録者の顔の特徴情報とを照合することにより通行者を認識し、さらに、認識された通行者を上記記憶部に記憶されている各登録者の属性情報に基づいてグループ分けし、グループ分けした結果を外部装置へ出力する。
これにより、上記第2の実施の形態によれば、上記通行者認識装置が、所定の場所(カメラが撮影する領域)に「どのような人物の何人からなる集団」が現れたのかを監視装置などの外部装置へ通知できる。これにより、上記外部装置では、所定の場所に「どのような人物の何人からなる集団」が現れたのかを監視者に報知することが可能となる。この結果として、たとえば、重要人物のグループが現れた場合、監視者は、来客に対する応対の準備を迅速に行うことができる。また、要注意人物のグループが現れた場合、監視者は、警戒のための警備員を配備したり、監視映像の記録をスタートしたりするなどの対応が迅速に行える。また、要注意人物などの特定の属性情報の人物を含むグループについては、登録者であっても、ゲート装置203のゲートを閉じるなどの制御を行うことも可能となる。
次に、第3の実施の形態について説明する。
図10は、第3の実施の形態に係る通行者認識システム300の構成例を概略的に示すものである。
この第3の実施の形態では、図10に示すように、カメラ301、複数の通行者認識装置302A、302B、複数のゲート装置303A、303B、監視装置304、および、サーバ装置305などにより構成されている通行者認識システム300を想定するものとする。また、各通行者認識装置302(302A、302B)は、入力部(画像入力部)311(311A、311B)、制御部312(312A、312B)及び出力部313(313A、313B)などにより構成されている。さらに、各制御部312(312A、312B)は、特徴検出部321(321A、321B)、認識部322(322A、322B)及びグループ判定部323(323A、323B)などを有している。
なお、上記のような通行者認識システム300の構成は、運用形態等に応じて適宜変形可能である。たとえば、上記サーバ装置305の各構成は、何れかの通行者認識装置302に設けるようにしても良い。
また、図10に示す通行者認識システム300における、カメラ301(301A、301B)、ゲート装置303(303A,303B)、入力部311(311A,311B)、出力部313(313A,313B)、特徴検出部321(321A,321B)、認識部322(322A,322B)およびグループ判定部323(323A,323B)は、それぞれ図1に示す通行者認識システム100における、カメラ101、ゲート装置103、入力部111、出力部113、特徴検出部121、認識部122、およびグループ判定部123の構成と同様であるため、詳細な説明を省略する。
以下、上記通行者認識システム300の各部について詳細に説明する。
上記通行者認識システム300では、通行者認識装置302Aおよび302Bがサーバ装置305に接続されている。上記サーバ装置305は、各種のデータを蓄積および管理するデータサーバである。上記サーバ装置305は、図10に示すように、記憶部331、履歴データベース332、および、関連性判定部333を有している。また、上記サーバ装置305は、通行者認識装置302A、通行者認識装置302B、および、監視装置304とのデータ通信を行うためのインターフェース(図示しない)を有している。
上記記憶部331は、上記第1の実施の形態で説明した記憶部114と同様な各登録者に関する登録情報(識別情報、顔の特徴情報、顔画像、グループ情報等)が記憶されるものとする。ただし、上記記憶部331に記憶される登録情報は、適宜、書換え可能な状態となっているものとする。上記記憶部331に記憶されている登録情報は、2つの通行者認識装置302Aおよび302Bにおける人物の認識処理あるいはグループ判定処理などで使用される情報である。このため、上記記憶部331に記憶されている登録情報は、上記通行者認識装置302Aあるいは302Bにより適宜読み出されるようになっている。
上記履歴データベース332は、上記通行者認識装置302Aあるいは302Bによるに認識結果などの情報を履歴情報として記憶するようになっている。上記履歴データベース332に記憶される履歴情報としては、たとえば、人物の認識結果(認識された人物を示す情報、撮影された場所(ゲート)を示す情報、認識(撮影)された日時などの情報が記憶される。
上記関連性判定部333は、履歴データベース332に記憶される情報(各通行者認識装置302A、302Bで得られた認識結果等の情報)に基づいて各人物間の関連性(グループらしさ)を判定するものである。上記関連性判定部333による判定結果は、上記記憶部331に記憶されている各登録者のグループ情報に適宜反映される。
すなわち、上記関連性判定部333は、予め設定されている条件に基づいて各通行者認識装置302A、302Bで認識された各人物間の関連性を判定する。認識された複数の人物間の関連性を判定するための条件としては、たとえば、「同時に撮影された人物同士であるか」、あるいは、「所定時間内に連続して撮影された人物同士であるか」などが設定可能である。また、上記関連性判定部333では、認識された各人物について他の人物との関連性の度合いを関連性の評価値として判定し、その関連性の評価値(関連性を示す値)をデータテーブル(相関マップ)333aに各人物ごとに蓄積し、蓄積された評価値に基づいて各人物のグループを判定する。
たとえば、「同時」に撮影された人物間の関連性の評価値と「所定時間内に連続」して撮影された人物間の関連性の評価値とは、それぞれ別の値(重み付けした値)で設定するようにしても良い。この場合、上記関連性判定部333は、あるカメラで「同時」に撮影された人物間については「グループの可能性が高い(関連性が高いため、評価値を最高値とする)」と判定し、あるカメラで「所定時間内に連続」して撮影された人物間については「グループの可能性がある(関連性が低いため、評価値を低くする)」と判定し、それ以外の人物(所定時間以上経過した後に撮影された人物)については「グループでない(関連性がないため、評価値なしとする)」と判定する。
さらに、関連性の評価値は、連続して各人物が撮影された時間間隔に応じて段階的に設定されるようにしても良い。たとえば、関連性の評価値は、同時に撮影された人物間については第1の値(レベル3;たとえば、評価値が「3」)とし、第1の時間(たとえば、1分)内に撮影された人物間については第2の値(レベル2;たとえば、評価値が「2」)とし、第1の時間から第2の時間(たとえば、5分)までに撮影された人物間については上記第2の値よりも低い第3の値(レベル1;たとえば、評価値が「1」)とし、第2の時間以上の間隔で撮影された人物間については上記第3の値よりも低い第4の値(レベル0;たとえば、評価値が「0」)とするように設定することも可能である。
図11は、通行者認識装置による認識結果の履歴としての履歴情報の例を示す図である。図12は、図11に示す履歴情報に対する関連性の評価例を示す図である。
図12に示す例では、図11に示すような履歴情報に対して、上記関連性判定部333が各認識結果とその直前の認識結果とを比較することにより、各人物間の関連性を評価している。つまり、上記関連性判定部333は、各通行者認識装置302で得られる認識結果について、順次、その直前の認識結果とを比較することにより、各人物間の関連性を評価している。なお、ここでは、上述したような条件に基づいて、図11に示す履歴情報の各認識結果を評価する場合について説明とする。
まず、上記関連性判定部333は、履歴番号2の認識結果と、その直前の履歴番号1の認識結果とを比較する。履歴番号2の認識結果とその直前の履歴番号1の認識結果とを比較すると、上記関連性判定部333は、それらの撮影間隔(日時の差分)が第1の時間(1分)以内であるため、人物Bと人物Aとの関連性の評価値を「2」とする。
また、上記関連性判定部333は、履歴番号3の認識結果とその直前の履歴番号2の認識結果とを比較する。履歴番号3の認識結果とその直前の履歴番号2の認識結果とを比較すると、上記関連性判定部333は、それらの撮影間隔が第2の時間(1分)以内であるため、人物C、D、Eと人物B(CとB、DとB、EとB)の関連性の評価値をそれぞれ「1」と判定する。また、上記関連性判定部333は、履歴番号3の認識結果では人物C、D、Eが同時に撮影されているため、人物C、D、E同士(CとD、DとE、EとC)の関連性の評価値をそれぞれ「3」と判定する。
また、上記関連性判定部333は、履歴番号4の認識結果について、その直前の履歴番号3の認識結果とを比較する。履歴番号4の認識結果とその直前の履歴番号3の認識結果とを比較すると、上記関連性判定部333は、撮影間隔が撮影間隔が第2の時間(5分)以上であるため、人物Fと人物C、D、E(FとC、FとD、FとE)の関連性を「0」と判定する。
上記のような関連性の判定結果を整理すると、図12に示すような相関性を示すデータテーブル(相関マップ)333aが生成される。図12に示すような相関マップによれば、人物A〜Fの関連性が評価できる。さらに、上記のような関連性の評価値を所定期間蓄積した相関マップ333aによれば、所定期間における各人物間の相関性を示す情報(グループ分けを示す情報)が作成される。
なお、図12に示す例では、予め記憶部331に登録情報が記憶されている登録者であると認識された人物について関連付けを行う場合について説明している。このような関連性の判定は、未登録者(登録者でないと判定された人物)についても適用できる。この場合、未登録者と判定された人物については、その人物に対してID番号を付与し、そのID番号に対応づけて当該人物の顔の特徴情報を仮登録者の登録情報として記憶部331に記憶しおく。各認識装置では、上記のように登録した仮登録者の登録情報も用いて人物の認識処理を行う。これにより、次に当該人物(仮登録者)が何れかのカメラで撮影された場合、当該通行者認識システムは、当該人物が認識される。このように仮登録者が認識されれば、上記通行者認識システムでは、未登録者についても、上記のような他者との関連性を判定することが可能となる。
また、上記のように得られた各人物間の関連性は、特定の条件に基づいて各登録者のループ情報として登録するようにしても良い。たとえば、上記サーバ装置305の関連性判定部333は、上記相関マップ333aにおける関連性の評価値が所定の閾値を超えたか否かを判定する。この判定により関連性の評価値が所定の閾値を超えた人物同士が判定された場合、上記関連性判定部333は、それらの人物同士をグループと判定し、それらの人物(登録者)のグループ情報を更新するようにする。この場合、人手を介さずに、関連性の評価値に基づく各登録者のグループ情報の更新が可能となる。
また、上記サーバ装置305の関連性判定部333は、上記のような相関マップにおいて関連性の評価値が所定の閾値を超えた人物同士について、上記監視装置304などに「グループである可能性が高い」という旨の案内を表示させるようにしても良い。この場合、監視員あるいはシステム管理者が上記のような案内を目視で確認し、その確認結果に基づいてそれらの人物をグループとして登録するか否かを操作部304aにより指示するようにしても良い。この場合、上記サーバ装置305の関連性判定部333では、監視員あるいはシステム管理者からの指示に応じて各人物のグループ情報を更新する。この場合、監視員あるいはシステム管理者が確認した後に、各登録者のグループ情報が更新されるため、確実なグループの管理が可能となる。
次に、上記関連性判定部333による関連性の判定処理の流れについて説明する。
図13は、上記関連性判定部333による関連性の判定処理の例を説明するためのフローチャートである。なお、上記関連性の判定処理は、各通行者認識装置302から認識結果を受信することごとに、実施するようにしても良いし、各通行者認識装置302による認識結果を履歴データベース332に蓄積し、定期的に履歴データベース332に蓄積された認識結果を読み出して、実施するようにしても良い。
まず、上記サーバ装置305の関連性判定部333が各通行者認識装置302による認識結果を取得したものとする(ステップS301)。すると、上記関連性判定部333は、同時に認識された複数の人物が存在するか否かを判定する(ステップS302)。この判定により同時に複数の人物が認識されたと判定した場合(ステップS302、YES)、上記関連性判定部333は、同時に認識された各人物同士の関連性が第1と値であると評価する(ステップS303)。この関連性の評価値は、当該各人物間の関連性を示す相関マップ333aに蓄積(投票)される。
さらに、上記関連性判定部333は、取得した認識結果と直前の認識結果とを比較することにより、それらの認識結果における日時(撮影日時)の間隔が第1の時間以内であるか否かを判定する(ステップS304)。つまり、上記関連性判定部333は、第1の時間以内で連続して認識された人物が存在するか否かを判定する。取得した認識結果と直前の認識結果との間隔が第1の時間内であると判定した場合(ステップS304、YES)、上記関連性判定部333は、取得した認識結果の人物と直前の認識結果の人物との関連性が第2の値であると評価する(ステップS305)。なお、上記第2の値は、上記第1の値よりも小さい値であるものとする。このような関連性の評価値は、当該人物間(取得した認識結果の人物と直前の認識結果の人物)の関連性を示す相関マップ333aに蓄積(投票)される。
取得した認識結果と直前の認識結果との間隔が第1の時間以内でないと判定した場合(ステップS304、NO)、上記関連性判定部333は、取得した認識結果と直前の認識結果とを比較することにより、それらの認識結果における日時(撮影日時)の間隔が第2の時間内であるか否かを判定する(ステップS306)。つまり、上記関連性判定部333は、第1の時間以上かつ第2の時間以内で連続して認識された人物が存在するか否かを判定する。取得した認識結果と直前の認識結果との間隔が第2の時間以内であると判定した場合(ステップS306、YES)、上記関連性判定部333は、取得した認識結果の人物と直前の認識結果の人物との関連性が第3の値であると評価する(ステップS307)。なお、上記第3の値は、上記第2の値よりも小さい値であるものとする。このような関連性の評価値は、当該人物間(取得した認識結果の人物と直前の認識結果の人物)の関連性を示す相関マップ333aに蓄積(投票)される。
取得した認識結果と直前の認識結果との間隔が第2の時間以内でないと判定した場合(ステップS306、NO)、上記関連性判定部333は、取得した認識結果の人物と直前の認識結果の人物とは関連性がないと評価する(ステップS308)。この場合、当該人物間(取得した認識結果の人物と直前の認識結果の人物)の関連性を示す相関マップ333aには評価値を蓄積(投票)しない。
さらに、上記関連性判定部333では、上記相関マップ333aにおいて評価値が所定の値を超えたものを判定する(ステップS309)。この判定により評価値が所定の値を超えたものを判定した場合(ステップS309、YES)、上記関連性判定部333は、関連性の評価値が所定の値を超えた各人物のグループ情報を更新する処理を行う(ステップS310)。
上述したように、上記ステップS310の処理において、上記関連性判定部333は、上記記憶部331に記憶されている関連性の評価値が所定の値を超えた各人物のグループ情報を更新するようにしても良いし、上記監視装置304に関連性の評価値が所定の値を超えた各人物のグループ情報を通知して当該監視装置304からのグループ情報の更新要求に応じてグループ情報を更新するようにしても良い。
また、上記ステップS309及びS310の処理は、上記相関マップ333aに評価値を蓄積するごとに行っても良いし、定期的に行うようにしても良いし、監視員あるいはシステム管理者からの指示に応じて行うようにしても良い。
上記第3の実施の形態に係る通行者認識システムでは、カメラが撮影した画像から検出した通行者の顔の特徴情報と記憶部に予め記憶されている各登録者の顔の特徴情報とを照合することにより通行者を認識し、その認識結果あるいは認識結果の履歴に基づいて複数の通行者間の関連付けを行う。また、上記通行者認識システムでは、上記のような関連付けに基づいて各通行者のグループを判定する。
これにより、上記第3の実施の形態によれば、予めグループとして登録されていない人物同士であっても、関連性を評価することができ、さらには、各人物間の関連性に基づいて各人物をグループ分けすることができる。
次に、第4の実施の形態について説明する。
図14は、第4の実施の形態に係る通行者認識システム400の構成例を概略的に示すものである。
この第4の実施の形態では、図14に示すように、カメラ401、複数の通行者認識装置402A、402B、複数のゲート装置403A、403B、監視装置404、および、サーバ装置405などにより構成されている通行者認識システム400を想定するものとする。また、各通行者認識装置402(402A、402B)は、入力部(画像入力部)411(411A、411B)、制御部412(412A、412B)及び出力部413(413A、413B)などにより構成されている。さらに、各制御部412(412A、412B)は、特徴検出部421(421A、421B)、認識部422(422A、422B)、および、グループ判定部423(423A、423B)などを有している。
なお、上記のような通行者認識システム400の構成は、運用形態等に応じて適宜変形可能である。たとえば、上記サーバ装置405の各構成は、何れかの通行者認識装置402に設けるようにしても良い。
また、図14に示す通行者認識システム400における、カメラ401(401A、401B)、ゲート装置403(403A,403B)、入力部411(411A,411B)、出力部413(413A,413B)、特徴検出部421(421A,421B)、認識部422(422A,422B)、および、グループ判定部423(423A、423B)は、それぞれ図1に示す通行者認識システム100における、カメラ101、ゲート装置103、入力部111、出力部113、特徴検出部121、および、認識部122、および、グループ判定部123の構成と同様であるため、詳細な説明を省略する。
以下、上記通行者認識システム400の各部について詳細に説明する。
上記通行者認識システム400では、通行者認識装置402Aおよび402Bがサーバ装置405に接続されている。上記サーバ装置405は、各種のデータを蓄積および管理するデータサーバである。上記サーバ装置405は、図14に示すように、記憶部431、履歴データベース432、および、グループ管理部433を有している。また、上記サーバ装置405は、通行者認識装置402A、通行者認識装置402B、および、監視装置404とのデータ通信を行うためのインターフェース(図示しない)を有している。
上記記憶部431は、上記第1の実施の形態で説明した記憶部114と同様な各登録者に関する登録情報(識別情報、顔の特徴情報、顔画像、グループ情報等)が記憶されるものとする。上記記憶部431に記憶されている登録情報は、各通行者認識装置402Aおよび402Bにおける人物の認識処理あるいはグループ判定処理などで使用される情報である。このため、上記記憶部431に記憶されている登録情報は、上記通行者認識装置402Aあるいは402Bにより適宜読み出されるようになっている。
上記履歴データベース432は、上記通行者認識装置302Aあるいは302Bによるに認識結果などの情報を履歴情報として記憶するようになっている。上記履歴データベース332に記憶される履歴情報としては、たとえば、人物の認識結果(認識された人物を示す情報、撮影された場所(ゲート)を示す情報、認識(撮影)された日時)と各人物のグループ判定結果などの情報が記憶される。
上記グループ管理部433は、履歴データベース332に記憶される情報(各通行者認識装置402A、402Bで得られた人物の認識結果とグループ判定結果)に基づいて各グループの状態を管理するものである。上記グループ管理部433は、各人物の各ゲートにおける通行状態を各グループごとに管理する。上記グループ管理部433は、各人物の各ゲートにおける通行状態を各グループごとに示すデータテーブル433aを有している。すなわち、上記グループ管理部433は、各通行者認識装置402による人物の認識結果およびグループ判定結果に基づいて、どのゲートを、どのグループの人物が、何時、何人通過したかを判定する。この判定結果は、グループ管理情報としてデータテーブル433aに記憶される。
さらに、上記グループ管理部433は、適宜、上記データテーブル433aに記憶された情報(グループ管理情報)を表示データとして上記監視装置404へ出力する。上記グループ管理部433は、たとえば、データテーブル433aが更新されるごとに、監視装置404へグループ管理情報を出力するようにしても良いし、監視装置404からの要求に応じてグループ管理情報を監視装置404へ出力するようにしても良い。
図15は、データテーブル433aに記憶されるグループ管理情報の例を示す図である。
図15に示す例では、各時刻において、各ゲートを通過した人物を示す情報がグループごとに記憶されている。たとえば、図15に示す例によれば、グループ1の人物A,B,Cは、10:00にゲート1を通過し、10:30にゲート2を通過し、さらに、10:40にゲート2を通過している。10:40にゲート2と通過した人物A、B、Cのうち人物A、Cは、11:00にゲート1を通過している。しかし、人物Bは、少なくとも11:30までには認識されていない。これは、人物A、Cと共に行動していた人物Bが、ゲート2を通過した後、グループ1の人物A、Cと離れて行動していることを意味する。従って、図15に示すような判定結果によれば、人物Bが、グループ1から離れて行動していることを容易に推測できる。
また、図15に示す例によれば、グループ2の人物D、Eは、10:10にゲート1を通過している。また、グループ2の人物D、E、Fは、10:50にゲート2を通過している。これは、10:10にゲート1を通過した人物D、Eが人物Fと合流して、10:50にゲート2を通過したことを意味している。さらに、グループ2の人物D、Eは、11:30にゲート2を通過している。これは、10:50に人物D、Eと共にゲート2を通過した人物Fが、11:30には人物D、Eと離れて行動していることを意味する。従って、図15に示すようなデータテーブルによれば、人物Fは、偶発的に、グループ2の人物D、Eと一緒に、ゲート2を通過しただけであることが推測できる。
上記のようなグループ管理によれば、各ゲートを各グループの各人物が、何時、誰と一緒にゲートを通過したことが容易に判別でき、各人物のグループとしての行動が容易に推測できる。たとえば、上記通行者認識システムを適用した人物の監視システムでは、各人物の行動(各ゲートの通行履歴など)だけでなく、各グループごとの行動も監視できる。
上記第4の実施の形態に係る通行者認識システムでは、カメラが撮影した画像から検出した通行者の顔の特徴情報と記憶部に予め記憶されている各登録者の顔の特徴情報とを照合することにより通行者を認識し、さらに、その各通行者のグループを判定する。上記通行者認識システムでは、上記のような人物の認識結果あるいはグループ判定結果を履歴情報としてデータテーブルに記憶し、そのデータテーブルに記憶されたデータを適宜外部装置へ出力するようにしたものである。
これにより、第4の実施の形態によれば、各グループごとに各通行者を監視することができ、各グループの各人物の行動を容易に監視できる。
以下、第5〜第9の実施の形態について説明する。
以下に説明する第5〜第9の実施の形態では、通行者認識システムの運用形態として、複数のエリアにおける人物を監視する人物の監視システムを想定するものとする。図16は、第5〜第9の実施の形態に係る通行者認識システムとしての監視システムが監視する複数の監視エリアの設定例を示す図である。図16に示す例では、あるセキュリティエリアSA内において、複数の監視エリアSa1〜Sa6が設定されている。後述する第5〜第9の実施の形態に係る通行者認識システムでは、1つのセキュリティエリアSA内の各監視エリアSa1〜Sa6に、それぞれカメラ(各監視エリアの画像を撮影するカメラ)が設定されているものとする。
次に、第5の実施の形態について説明する。
図17は、第5の実施の形態に係る通行者認識システム500の構成例を示す図である。
図17に示すように、通行者認識システム500は、複数のカメラ501、複数の通行者認識装置502、監視装置504、および、サーバ装置505などにより構成されている。また、各通行者認識装置502は、入力部511(511A、511B)および制御部512(512A、512B)を有している。さらに、各制御部512(512A、512B)は、特徴検出部521(521A、521B)および認識部522(522A、522B)などを有している。また、上記サーバ装置505は、記憶部531、履歴データベース532、グループ判定部533および出力部534などを有している。
なお、上記のような通行者認識システム500の構成は、運用形態等に応じて適宜変形可能である。たとえば、上記サーバ装置505の各構成は、何れかの通行者認識装置502に設けるようにしても良い。
また、図17に示す通行者認識システム500における、カメラ501(501A、501B)、入力部511(511A,511B)、出力部513(513A,513B)、特徴検出部521(521A,521B)、および、認識部522(522A,522B)は、それぞれ図1に示す通行者認識システム100における、カメラ101、入力部111、出力部113、特徴検出部121、および、認識部122の構成と同様であるため、詳細な説明を省略する。
以下、上記通行者認識システム500の各部について詳細に説明する。
上記記憶部531は、上記第1の実施の形態で説明した記憶部114と同様な各登録者に関する登録情報(識別情報、顔の特徴情報、顔画像、グループ情報等)が記憶されるものとする。上記記憶部531に記憶されている登録情報は、認識部522A、522Bにおける人物の認識処理あるいは上記グループ判定部533によるグループ判定処理などで使用される情報である。
上記履歴データベース532は、上記通行者認識装置502Aあるいは502Bによる認識結果などの情報とグループ判定部533による判定結果とを履歴情報として記憶するようになっている。たとえば、上記履歴データベース532に記憶される履歴情報としては、人物の認識結果(認識された人物を示す情報、撮影された場所(監視エリア)を示す情報、認識(撮影)された日時)と各人物のグループ判定結果などの情報が記憶される。
上記グループ判定部533は、上記各通行者認識装置502による人物の認識結果に基づいて各人物のグループを判定する処理(グループ判定処理)と各グループごとの集団行動を判定する処理(集団行動の判定処理)とを行う。なお、上記グループ判定部533における各人物のグループ判定処理は、上記第1の実施の形態で説明したグループ判定部123によるグループ判定処理と同様な方法で実現可能である。また、各人物のグループ判定処理は、上記第1の実施の形態と同様に、各通行者認識装置502が実行するようにしても良い。
上記グループ判定部533による集団行動の判定処理は、各グループごとに、複数の人物による集団行動の状態を判定(検出)する処理である。たとえば、第5の実施の形態において、グループ判定部533は、上記集団行動の判定処理として、同一グループに属する複数の人物が集団で行動しているか否かを判定する。また、上記グループ判定部533では、各人物間の接近度を判定する。各人物間の接近度は、セキュリティエリアSA内における各人物間の接近度合いを示す値である。上記接近度は、所定の条件に基づいて判定される。たとえば、上記接近度は、「同時刻に同じ場所(監視エリア)に存在していた」(第1の条件)、あるいは、「同時間帯にセキュリティエリアへ入場あるいは出場した」(第2の条件)などの条件が満たされるごとに、カウントアップ(所定の値が積算)される値である。この第5の実施の形態では、グループ判定部533は、複数の人物(集団)での行動を判定するため、各グループごとに各人物間の接近度を判定するものとする。
まず、上記第1の条件に基づく接近度による集団行動の判定処理について説明する。
上記第1の条件に基づく接近度は、1つの入力画像(1つの監視エリアの画像)から同一グループに属する複数の人物が検出(認識)されるごとにカウントアップ(所定の値が積算)される値である。ただし、複数の人物が接近したことが、直接的に、一緒に行動していることを示すとは限らない。つまり、1つの入力画像から同時に検出された人物同士が、同じグループであったとしても、偶発的に、その時間にその場所に存在しただけである可能性がある(実際には、一緒に行動せずに、ばらばらに行動している可能性がある)。
言い換えると、短時間での人物の認識結果だけでは、「同じ時間に同じ場所に複数の人物が一緒にいる」ことは判定できるが、「それらの人物同士が集団行動している」か否かを判定するのは難しい。このため、上記第1の条件に基づく接近度による集団行動の判定処理では、「一緒にいた時間の長さ」が所定時間以上(あるいは、「一緒にいたと判定された回数」が所定回数以上)であれば、「それらの人物が一緒に行動している」と判定するものとする。上記のような一緒にいた時間の長さを判定するためには、継続的に、複数の人物が接近した状態であるか否かを判定する必要がある。ここでは、上記グループ判定部533は、各人物間の接近度を記憶するデータテーブル(接近マップ)533aにより複数の人物が一緒に行動しているか否かを判定するものとする。
図18は、第5の実施の形態に係る通行者認識システムにおいて作成される接近マップ533aの例を示す図である。図18に示す例は、ある監視エリアにおける各人物間の接近度を示す接近マップ533aの例を示しているものとする。
上記接近マップ533aには、各人物同士が一緒にいた時間の長さを示す値が接近度として記憶される。このため、同一の入力画像(ある監視エリアを撮影した画像)から同一グループの複数の人物が継続的(連続的)に検出(認識)されている場合、それらの人物間の接近度は、所定時間ごとに更新(カウントアップ)されるようになっている。たとえば、継続的に同じ入力画像から認識されている同一グループに属する複数の人物の接近度を1分ごとに更新(カウントアップ)するようにすれば、上記接近マップ533aに記憶される接近度は、複数の人物が何分一緒にいたかを示す値となる。具体的には、1分ごとに接近度がカウントアップされるものであれば、接近度が「12」となっている人物Aと人物Bとは、12分間、当該監視エリアに一緒にいたことを示している。このような接近マップ533aによれば、誰と誰とが、何処で、どの位の時間、接近した状態であったかが容易に判別できる。
次に、上記第1の条件に基づく接近度による集団行動の判定処理の流れについて説明する。
図19は、上記第1の条件に基づく接近度による集団行動の判定処理の例を説明するためのフローチャートである。
まず、上記グループ判定部533は、各通行者認識装置502あるいは履歴データベース532から認識結果を順次取得する(ステップS501)。なお、ここでは、1つの入力画面から得られた1人または複数の人物についての認識結果が1つの認識結果となっているものとする。認識結果を取得すると、上記グループ判定部533は、上記記憶部531に記憶されている登録情報を参照し、当該認識結果において認識された全ての人物についてグループを判定する(ステップS502)。なお、各人物のグループは、各通行者認識装置502で判定するようにしても良い。この場合、各人物のグループを示す情報は、認識結果に含まれるものとする。この場合、上記グループ判定部533は、そのような認識結果から全ての人物のグループを判定するものとする。
認識された全ての人物のグループを判定すると、上記グループ判定部533は、同一の入力画像から同一グループに属する複数の人物が検出(認識)されたか否かを判断する(ステップS503)。1つの入力画像から同一グループに属する複数の人物が認識されなかったと判断した場合(ステップS503、NO)、上記グループ判定部533は、上記ステップS501へ戻り、上述した処理を繰り返し実行する。
また、上記判断により1つの入力画像から同一グループに属する複数の人物が認識されたと判断した場合(ステップS503、YES)、上記グループ判定部533は、当該入力画像を撮影した監視エリアの接近マップ533aに対して、それぞれの人物間の接近度をカウントアップする(ステップS504)。なお、継続的に、各入力画像において同時に検出されている複数の人物間の接近度を更新(カウントアップ)する場合、それらの人物間の接近度については、所定時間ごとに更新することとする
1つの入力画像から認識された同一グループに属する複数の人物(同時に撮影された複数の人物)間の接近度をカウントアップすると、上記グループ判定部533は、それらの人物間の接近度が所定の値以上となったか否かを判断する(ステップS505)。この判断により接近度が所定の値未満であると判断した場合(ステップS505、NO)、上記グループ判定部533は、上記ステップS501へ戻り、上述した処理を繰り返し実行する。
また、上記判断により上記接近度が所定の値以上となったと判断した場合(ステップS505、YES)、上記グループ判定部533は、それらの人物が集団行動(一緒に行動)しているものと判断する(ステップS506)。複数の人物が集団行動していることを判断すると、上記グループ判定部533は、集団行動している複数の人物が撮影された監視エリアを示す情報とともに、集団行動していると判断された各人物を示す情報を出力部534に対して供給する(ステップS507)。
これにより、上記出力部534では、当該監視エリアを示す情報とともに集団行動していると判定した各人物を示す情報とグループを示す情報とを監視装置504へ出力する。これにより、上記監視装置504では、例えば、「どこの監視エリアで誰と誰とが集団で行動している」というような情報が表示可能となる。また、上記出力部534は、複数の人物が一緒に行動していると判定されたグループ(または、各グループの警戒度)に応じた警報などを発生するための制御情報を上記監視装置504へ出力するようにしても良い。
また、上記第1の条件では、同一グループに属する複数の人物が1つの監視エリアで検出されたことを判定する。つまり、上記第1の条件に基づく接近度による集団行動の判定処理では、各監視エリアごとに複数の人物が集団行動しているか否かが判定される。このような判定結果により、上記出力部534では、集団行動している複数の人物が検出された各監視エリアごとの重要度に応じた出力処理するようにしても良い。これは、1つのセキュリティエリアSA内であっても各監視エリアSa1〜Sa6は、重要度(セキュリティレベル)が異なることがあるためである。セキュリティエリアSA内には、重要度の高いエリア(たとえば、特定のグループの人物が数名いても問題ない場所)と重要度が低いエリア(たとえば、特定のグループの人物が数名いれば警戒すべき場所)とが混在している場合がありうる。このような場合、各監視エリアに重要度を設定しておくことにより、通行者認識装置は、各監視エリアごとの重要度に応じた警報などを外部装置へ通知する出力処理を行うことが可能となる。
たとえば、複数の監視カメラが設置されている建物(セキュリティエリア)の中に監視エリアの1つとして重要な物件を管理している部屋(最重要エリア)がある場合、当該セキュリティエリア内の各監視エリアの重要度は、上記最重要エリアに近づけば近づくほど高くするように設定すれば良い。このような場合、あるグループの集団が、上記のような最重要エリアに近づくほど警報のレベルを高げるという運用が可能となる。
図20は、複数の監視エリアに対する重要度の設定例を示す図である。
図20に示す例では、監視エリアSa1、Sa2、Sa3の重要度がそれぞれ「3」、「1」、「2」と設定され、さらに、監視エリアSanの重要度が「5」と設定されている。このため、重要度が最も高い監視エリアSanで同一グループの複数の人物が認識された場合、その旨の警報が最優先される。また、図20に示す例では、外部装置へ警報を出力するための優先順位を判断するための総合判断値が示されている。総合判断値は、たとえば、図20に示すように、各グループごとに、各監視エリアの重要度に、検出された人数を掛け合わせた値を積算したものとなっている。図20に示す例では、グループ2の総合判断値が最も高い値となっている。このため、図20に示すような判定結果が得られた場合、上記出力部534は、監視エリアSanにグループ2の人物が2名存在している旨の警報を最優先して監視装置504へ通知する。
上記のように、通行者認識システムでは、監視エリアに重要度を設定しておくことにより、集団で行動しているグループが検出された各監視エリアの重要度に応じた出力処理を行う。これにより、重要な監視エリア、あるいは、重要なエリアに近い監視エリアで、集団で行動しているグループを効率的に監視することができる。
次に、上記第2の条件に基づく接近度による集団行動の判定処理について説明する。
上記第2の条件に基づく接近度は、同一グループの複数の人物が同じ時間帯にセキュリティエリアに存在したか否かにより判定される。たとえば、上記第2の条件に基づく接近度は、同一グループに属する複数の人物がセキュリティエリアへ入場した時刻あるいは出場した時刻に基づいて判定される。この場合、「ほぼ同じ時刻にセキュリティエリアに入場した複数の人物」間、あるいは、「ほぼ同じ時刻にセキュリティエリアから出場した複数の人物」間については、接近度がカウントアップ(所定の値を積算)される。言い換えれば、第2の条件に基づく接近度は、同一グループに属する複数の人物がセキュリティエリア内において同時間帯に行動したことを判定するための値である。
たとえば、物の受け渡し、あるいは、待ち合わせなどの短時間の用件で行動している複数の人物は、短時間接近するだけで、別々の入口から入場したり、別々の出場口から出場したりすることがありうる。つまり、物の受け渡し、あるいは、待ち合わせを目的としている複数の人物は、集団で行動しているものの、ほとんど一緒に行動していないことがありうる。
このような場合、上記第1の条件に基づく接近度では、それらの人物同士が一緒に行動しているとは判定し難い。これに対して、上記第2の条件に基づく接近度では、少なくとも同じ時間帯に、セキュリティエリア内に存在した(セキュリティエリアへ入場した、あるいは、セキュリティエリアから出場した)同一グループに属する複数の人物を特定できる。なお、以下の説明では、上記第2の条件に基づく接近度は、各人物のセキュリティエリアへの入場時刻あるいは出場時刻により判定されることを想定するものとする。
また、上記第2の条件に基づく接近度は、上記したような接近マップ533aを用いて管理されるものとする。たとえば、セキュリティエリアには、出入口が設けられている複数の監視エリアがあるとする。この場合、出入口のある複数の監視エリアで、同じ時間帯にセキュリティエリアへ入場(あるいはセキュリティエリアから出場)した同一グループに属する複数の人物については、接近マップ533aの接近度を高くする(カウントアップする)。このような接近マップ533aによれば、同じ時間帯に出入した同一グループの複数の人物が容易に判別できる。
ここで、図16に示すように、セキュリティエリアSAには、出入口が監視エリアSa1、Sa2、Sa3に設けられているものとする。例えば、監視エリアSa1で人物Aが検出された時刻と監視エリアSa2で人物Bが検出された時刻とが所定時間内であった場合、人物Aと人物Bとが同一グループであれば、上記グループ判定部533は、上記接近マップ533aにおける人物Aと人物Bとの接近度を積算する。このような処理によれば、接近マップ533aには、同時間帯にセキュリティエリアSAに出入した人物間の接近度が高くなる。それらの結果が積算されて所定以上の値になった時点で、グループ判定部533は、同一グループの人物が複数人存在したと判定する。
また、セキュリティエリアSAの出入口となっている各監視エリアSa1、Sa2、Sa3には、入場する人物を撮影するカメラと出場する人物を撮影するカメラとを設置するようにしても良い。この場合、入場する人物を撮影するカメラが撮影した画像から検出された人物がセキュリティエリアSAへの入場者であり、出場する人物を撮影するカメラが撮影した画像から検出された人物がセキュリティエリアSAからの出場者である。このような構成により、セキュリティエリアへの入場者とセキュリティエリアからの出場者とが、容易に区別できる。
次に、上記第2の条件に基づく接近度による集団行動の判定処理の流れについて説明する。
図21は、上記第2の条件に基づく接近度による集団行動の判定処理の例を説明するためのフローチャートである。
まず、上記グループ判定部533は、各通行者認識装置502あるいは履歴データベース532から認識結果を順次取得する(ステップS521)。なお、セキュリティエリアへの入場時刻あるいは出場時刻のみを判定対象とする場合、上記グループ判定部533は、セキュリティエリアSAへの出入口がある何れかの監視エリアSa1、Sa2、Sa3で撮影された画像に対する認識結果のみを取得するようにしても良い。
認識結果を取得すると、上記グループ判定部533は、上記記憶部531に記憶されている登録情報を参照し、当該認識結果において認識された各人物のグループを判定する(ステップS522)。なお、各人物のグループは、各通行者認識装置502で判定するようにしても良い。
各人物のグループを判定すると、上記グループ判定部533は、当該認識結果における各人物が検出された時間から所定時間内に当該人物と同じグループに属する人物がセキュリティエリアSA内の何れかの監視エリアで検出(認識)されているか否かを判定する(ステップS523)。たとえば、セキュリティエリアへの入場時刻あるいは出場時刻を判定対象とする場合、上記グループ判定部533は、出入口のある監視エリアSa1、Sa2、Sa3で同一グループの人物が所定時間内に検出されているか否かを判定する。
上記判定により所定の時間内に同一グループに属する人物が検出されていないと判定した場合(ステップS523、NO)、上記グループ判定部533は、上記ステップS521へ戻り、上述した処理を繰り返し実行する。また、上記判定により所定の時間内に同一グループに属する人物が検出されていると判定した場合(ステップS523、YES)、上記グループ判定部533は、当該認識結果において認識された人物と所定時間内に検出された同一グループに属する人物との接近度をカウントアップする(ステップS524)。
所定時間内に検出された同一グループに属する複数の人物間の接近度をカウントアップすると、上記グループ判定部533は、それらの人物間の接近度が所定の値以上となったか否かを判断する(ステップS525)。この判断により当該接近度が所定の値未満であると判断した場合(ステップS525、NO)、上記グループ判定部533は、上記ステップS521へ戻り、上述した処理を繰り返し実行する。
また、上記判断により上記接近度が所定の値以上となったと判断した場合(ステップS525、YES)、上記グループ判定部533は、それらの人物がセキュリティエリアSA内でグループとして行動している可能性があると判定する(ステップS526)。同一グループの複数の人物が一緒に行動している可能性があると判定した場合、上記グループ判定部533は、グループとして行動している可能性があるそれらの人物を示す情報とグループを示す情報とを出力部534に対して供給する(ステップS527)。
これにより、上記出力部534では、所定時間内にセキュリティエリア内の何れかの監視エリアで検出された同一グループの各人物を示す情報を監視装置504へ出力する。これにより、上記監視装置504では、たとえば、「セキュリティエリア内に同一グループの誰と誰とが存在している」というような情報が表示可能となる。また、上記出力部534は、複数の人物が一緒に行動している可能性があると判定されたグループ(または、各グループの警戒度)に応じた警報などを発生する旨の制御情報を上記監視装置504へ出力するようにしても良い。
上記第2の条件に基づく接近度によれば、一緒に行動する時間が短い場合でも、同時間帯にセキュリティエリア内に存在する傾向がある同一グループに属する複数の人物が集団で行動している可能性があると判定できる。さらには、各人物の入出場のパターン(入場時刻あるいは出場時刻)に基づいて、セキュリティエリア内で集団行動を行っている可能性がある複数の人物を検出および報知することも可能である。
また、第2の条件による接近度の判定は、特定のグループについてのみ適用することも可能である。たとえば、警戒度の高いグループのみを対象として、第2の条件による接近度の判定を行うようにしても良い。これにより、警戒度の高いグループに属する複数の人物が、セキュリティエリア内で同時間帯に行動しているらしいことを検出できる。警戒度の高いグループに属する複数の人物がセキュリティエリア内に同時間帯に存在していれば、それらの人物が危険性の高い行動をとる可能性が高くなることが予測される。この結果として、警戒度が高い特定のグループに属する各人物については、上記のような第2の条件で接近度を判定することにより、充分な警戒を支援することが可能となる。
なお、上記第1の条件に基づく接近度と上記第2の条件に基づく接近度とを組み合わせて総合的に同一グループに属する複数の人物がセキュリティエリア内で集団行動しているか否かを判定するようにしても良い。この場合、1つの接近マップに上記第1の条件に基づく接近度と上記第2の条件とに基づく接近度とがそれぞれカウントアップされるようにすれば良い。
上記のような通行者認識システム500は、同一グループに属する複数の人物が任意のエリアで継続的に所定期間(時間または認識された回数)一緒にいることが検出された場合、それらの人物が一緒に行動していると判定し、その判定結果を外部装置へ出力するようにしたものである。また、同一グループに属する複数の人物が同一時間帯にセキュリティエリアの出入口などのエリアで検出された場合、同一グループに属する複数の人物がセキュリティエリアに同時間帯に存在している(あるいは同一グループに属する複数の人物が類似した行動パターンである)と判定し、その旨を外部装置へ出力するようにしたものである。
これにより、監視員は、一緒に行動している各グループの集団を容易に認識することができ、各グループの行動に応じた的確な対応が可能となる。また、監視員は、警戒度の高いグループが集団で行動していること、あるいは、集団で行動している可能性が高いことなどを容易に認識でき、迅速に的確な警備体制を準備することが可能となる。また、一緒に行動しているグループおよび人数と各監視エリアの重要度とに応じた警報を出力することも可能となる。このため、監視員は、警戒度に応じた警報により警戒レベルを直感的かつ容易に認識することができる。
次に、第6の実施の形態について説明する。
図22は、第6の実施の形態に係る通行者認識システム600の構成例を示すブロック図である。
図22に示すように、通行者認識システム600は、複数のカメラ601(601A、601B)、複数の通行者認識装置602(602A、602B)、監視装置604、および、サーバ装置605などにより構成されている。また、各通行者認識装置602は、入力部611(611A、611B)および制御部612(612A、612B)を有している。さらに、各制御部612(612A、612B)は、特徴検出部621(621A、621B)および認識部622(622A、622B)などを有している。また、上記サーバ装置605は、記憶部631、履歴データベース632、グループ判定部633、出力部634および関連性判定部635などを有している。なお、上記のような通行者認識システム600の構成は、運用形態等に応じて適宜変形可能である。たとえば、上記サーバ装置605の各構成は、何れかの通行者認識装置602に設けるようにしても良い。
また、図22に示す通行者認識システム600における、カメラ601、入力部611、制御部612、記憶部631、履歴データベース632、グループ判定部633、および、出力部634は、それぞれ図17に示す通行者認識システム500における、カメラ501、入力部511、制御部512、記憶部531、履歴データベース532、グループ判定部533、および、出力部534の構成と同様であるため、詳細な説明を省略する。
図22に示す通行者認識システム600は、図17に示す通行者認識システム500のサーバ装置に、認識結果の履歴情報から各人物間の関連性を判定する関連性判定部635を設けた構成となっている。上記関連性判定部635は、上記第3の実施の形態で説明した図10に示す関連性判定部333と類似する関連性の判定処理を行う。上記関連性判定部635は、上記第3の実施の形態で説明した上記関連性判定部333と同様な手法により、相関マップ635aに各人物間の関連性を示す評価値を投票(蓄積)する処理を行う。
図23は、第6の実施の形態の関連性判定部635による関連性の判定処理の流れの例を説明するためのフローチャートである。なお、図23に示すフローチャートのステップS601〜S609の処理は、上記第3の実施の形態で説明した図13に示すフローチャートのステップS301〜S309の処理と同様な処理であるため、詳細な説明を省略する。
すなわち、上記関連性判定部635では、関連性が高いと判定された複数の人物(関連性の評価値が所定値以上となった複数の人物)に対して、一方の人物が属しているグループに他方の人物を追加すべきであるという判定を行う(ステップS610)。言い換えれば、上記関連性判定部635は、関連性の評価値が所定値以上となった人物同士に対して、それらの人物の現在のグループ情報に基づいてグルーピングを行う点が上記関連性判定部333と異なっている。
たとえば、人物Aと人物Bとの関連性の評価値が所定値以上となった場合、上記関連性判定部635は、人物Aと人物Bとが同一グループらしいと判定する。人物Aと人物Bとが同一グループらしいと判定した場合、上記関連性判定部635は、人物Aがグループ1に所属していれば、人物Bのグループ情報にグループ1を追加したり、人物Bがグループ1らしいという情報を監視装置604へ通知したりするものである。
図24は、各通行者認識装置602による認識結果の履歴情報の例を示す図である。また、図25は、図24に示す認識結果の履歴情報に基づく関連性の評価例を示す図である。
図24に示すような認識結果の履歴情報については、上記第3の実施の形態で説明したような手法(各認識結果とその直前の認識結果とを比較)により、各人物(登録者および未登録者)間の関連性が評価される。図24に示す例では、登録者Aと登録者Bとの関連性がレベル2であると判定され、登録者Bと登録者Cおよび登録者Bと未登録者Xとの関連性がそれぞれレベル1であると判定され、未登録者Xと登録者Cとの関連性がレベル3であると判定され、登録者Dと登録者Eとの関連性がレベル3であると判定されている。このような各人物間の関連性の評価を整理すると、図25に示すような相関マップ635aが得られる。
また、図24に示す例では、未登録者Xと判定された人物についても、他の登録者と認識された人物との関連性を評価している。図24に示す例では、未登録者Xは、同時に認識された(1つの入力画像から認識された)登録者Cとの関連性が高いと評価している。このような未登録者については、顔の特徴情報などの登録情報が記憶部631に記憶されていない。このため、未登録者については、自動的に、記憶部631に記憶されているグループ情報を更新することができない。すなわち、未登録者を他の人物(登録者)とグルーピングするには、当該未登録者の登録情報(顔の特徴情報など)を記憶部631に記憶すべきか否かを監視員あるいはシステム管理者に判断させる必要がある。従って、登録者との関連性が高いと評価された未登録者については、各登録者との関連性を示す情報とともに、認識処理で検出された当該人物(未登録者)の顔画像等も監視装置604に表示させる。これにより、未登録者については、監視員あるいはシステム管理者により判断に基づいて、登録情報を記憶部631に登録するとともに、他の登録者との関連性に基づくグループ情報を設定できる。
なお、未登録者については、入力画像から検出された顔の特徴情報にID番号を割り当てて記憶部631に未登録者の情報(仮の登録情報)として記憶しておくことも可能である。この場合、当該未登録者については、その後の当該システムにおける認識処理において、上記ID番号の未登録者として入力画像から検出された顔の特徴情報との照合が可能となる。これにより、未登録者のままであっても、他の登録者あるいはID番号が割当てられた他の未登録者との関連性を継続的に評価することが可能となる。
また、関連性が高いと判定された登録者同士のグループ情報についても、監視者あるいはシステム管理者による判断に基づいて更新するようにしても良い。この場合、上記関連性判定部635は、関連性が高いと評価された複数の人物に関する情報を監視装置604に表示させる。このような表示を目視した監視者あるいはシステム管理者は、関連性が高いと評価された各人物をグループとして登録する場合、その旨を操作部604aにより指示する。監視者あるいはシステム管理者が表示された人物のグループ情報の更新を指示した場合、上記監視装置604は、上記関連性判定部635に当該人物のグループ情報の更新を要求する。上記監視装置604からの各人物のグループ情報の更新要求を受けた場合、上記関連性判定部635は、上記記憶部631に記憶されている当該人物のグループ情報を更新する。これにより、監視員あるいはシステム管理者による目視での確認を得た上で、各人物のグループ情報の更新が可能となる。この場合、監視員あるいはシステム管理者が、目視でグループ情報の更新内容を確認できるため、確実なグループ管理が可能となる。
次に、第7の実施の形態について説明する。
上記第7の実施の形態は、上記第6の実施の形態の第1の変形例である。このため、第7の実施の形態に係る通行者認識システム700は、上記第6の実施の形態で説明した図22に示すような構成であるものとする。ただし、第7の実施の形態に係る通行者認識システム700では、認証済みの登録者の登録情報として、他のグループとは異なる特別なグループ(認証済みのグループ)であることを示すグループ情報が記憶されているものとする。また、第7の実施の形態では、認証済みのグループの人物と他のグループの人物との関連性が高くなった場合、それらの人物については、特別なルールに従って、関連性の評価値をリセットしたり、グループ情報を更新したりするものである。
図26は、第7の実施の形態に係る通行者認識システム700の記憶部631に記憶される登録情報の例を示す図。
図26に示す例では、上記第1の実施の形態で説明した図3に示すような登録情報に加えて、「認証済み」とされるグループを示す情報が追加されている。この「認証済み」のグループに所属している人物は、システム管理者あるいは警備員などの当該セキュリティエリアの管理上で確実に信頼できる人物であるものとする。たとえば、認証済みの人物と一緒に行動している人物(つまり、認証済みの人物との関連性が高いと評価された人物)は、認証済みのグループとして自動的に登録したり、不審者などのようなネガティブなグループ(警戒度の高いグループ)に登録したりすることを避けるような運用が可能となる。
図27は、第7の実施の形態の関連性判定部635による関連性の判定処理の流れの例を説明するためのフローチャートである。なお、図27に示すフローチャートのステップS701〜S709の処理は、上記第3の実施の形態で説明した図13に示すフローチャートのステップS301〜S309の処理と同様な処理であるため、詳細な説明を省略する。また、図27のステップS712の処理は、上記第6の実施の形態で説明した図23のステップS610の処理と同様な処理であるため、詳細な説明を省略する。
すなわち、第7の実施の形態の関連性判定部635では、関連性が高いと判定された複数の人物(関連性の評価値が所定値以上となった複数の人物)について、「認証済み」のグループに属する人物(認証済みの人物)を含むか否かを判定する(ステップS710)。この判定により認証済みの人物を含むと判定した場合(ステップS710、YES)、上記関連性判定部635は、それらの複数の人物の評価値(つまり、「認証済み」のグループに属する人物との評価値)をリセットする(ステップS711)。
これにより、「認証済み」のグループに属する人物については、特定のグループ(たとえば、図26に示す例では要注意集団のグループ)との関連性が高いと評価された場合であっても、その情報をリセットされる。つまり、通行者認識システム700では、「認証済み」のグループに属する人物については、他のグループとの関連性を評価しないようにしている。なお、「認証済み」のグループに属する人物との関連性が高いと判定される人物についても、特定のグループとの関連性を評価しないようにすることも可能である。
また、認証済みのグループは、他のグループとは異なる特別なグループである。このため、当該通行者認識システムが認証済みのグループにそれ以外のグループの人物を自動的に登録をすることを避けるために、認証済みのグループに属する人物との関連性を示す評価値を相関マップに投票することを避けるようにしても良い。但し、通行者認識システムの運用形態は、セキュリティポリシーに応じて設定されるものである。このため、セキュリティポリシーにおいて認証済みのグループにそれ以外のグループの人物を自動的に追加することが許可されるならば、認証済みのグループに属する人物についても、他の人物との関連性を示す評価値を相関マップに投票するようにしても良い。
上記のように、第7の実施の形態に係る通行者認識システムでは、上記第6の実施の形態で説明した通行者認識システムの処理に加えて、認証済みのグループなどの特別なグループに属する各人物と他の人物との関連性を評価しないようにする。これにより、第7の実施の形態では、明らかに信頼できるとされる人物(認証済みの人物)を誤って不適切なグループに登録したり、他の人物を認証済みのグループとしたりすることを防ぐことが可能となる。この結果として、セキュリティエリア内における各人物に対するグループ管理を高精度に行うことが可能となる。
次に、第8の実施の形態について説明する。
上記第8の実施の形態は、上記第6の実施の形態の第2の変形例である。このため、第8の実施の形態に係る通行者認識システム800は、上記第6の実施の形態で説明した図22に示すような構成であるものとする。ただし、第8の実施の形態に係る通行者認識システム800では、各人物間の関連性を判定する手法が上記第6の実施の形態で説明したものと異なる。すなわち、第8の実施の形態では、セキュリティエリアにおける別々の監視エリアであっても、同時間帯に、検出(認識)された人物間の関連性を高くするものである。
たとえば、別々の出入口で入場あるいは出場した人物同士であっても、セキュリティエリアへの入場あるいは出場の時間帯が同じであれば、それらの人物の関連性を高くする。このような関連性の判定手法は、上記第5の実施の形態で説明した第2の条件に基づく接近度の判定処理と類似している。すなわち、上記第8の実施の形態に係る通行者認識システムでは、同時間帯にセキュリティエリアに存在したこと、同時間帯にセキュリティエリアに入場したこと、あるいは、同時間帯にセキュリティエリアから出場したことなどによる各人物の行動パターンの類似性に基づいて、各人物間の関連性を評価するものである。
これにより、上記第8の実施の形態に係る通行者認識システムでは、待ち合わせあるいは物の受け渡しなどで、セキュリティエリア内で短時間しか接近していない人物間についても、関連性を評価できる。言い換えると、第8の実施の形態では、セキュリティエリア内において別々に行動している人物同士(同じ監視エリアで同時に検出されない人物同士)であっても、同時間帯にセキュリティエリアに存在している傾向がある人物(行動パターンに類似性がある人物)同士については、関連性を高くするものである。
次に、この第8の実施の形態に係る通行者認識システムの関連性判定部635による処理例について説明する。
図28は、この第8の実施の形態に係る通行者認識システムの関連性判定部635による関連性の判定処理を説明するためのフローチャートである。
まず、上記関連性判定部635は、各通行者認識装置602あるいは履歴データベース632から認識結果を順次取得する(ステップS801)。ここでは、履歴データベース632に記憶されている認識結果には、少なくとも、日時(入力画像の撮影日時)、監視エリア(入力画像の撮影場所)、および、認識された人物を示す情報などの情報が含まれているものとする。なお、セキュリティエリアへの入場者あるいは出場者のみを関連性の判定対象とする場合、上記関連性判定部635は、セキュリティエリアSAへの入口あるいは出口がある何れかの監視エリアSa1、Sa2、Sa3で撮影された画像に対する認識結果のみを取得するようにしても良い。
認識結果を取得すると、上記関連性判定部635は、当該認識結果に含まれる日時に基づいて所定の時間内にセキュリティエリアSA内の何れかの監視エリアで別の人物が検出(認識)されているか否かを判定する(ステップS802)。なお、セキュリティエリアへの入場時刻あるいは出場時刻のみを判定対象とする場合、上記関連性判定部635は、入口あるいは出口のある何れかの監視エリアSa1、Sa2、Sa3で所定時間内に別の人物が検出(認識)されているか否かを判定する。
上記判定により所定の時間内に別の人物が検出されていないと判定した場合(ステップS802、NO)、上記関連性判定部635は、上記ステップS801へ戻り、上述した処理を繰り返し実行する。また、上記判定により所定の時間内に別の人物が検出されていると判定した場合(ステップS802、YES)、上記関連性判定部635は、所定時間内に検出された人物間の関連性の評価値を高くする(つまり、相関マップ635aにおける当該人物間の値をカウントアップする)(ステップS803)。なお、同一の監視エリアで所定時間内に複数の人物が検出された場合も、それらの人物間の関連性の評価値をカウントアップしても良い。この場合、相関マップ635aには、別々の監視エリアで検出された人物同士に対する評価値よりも大きい値を積算するようにしても良い。これにより、検出された監視エリアに応じて重み付けした値を投票した相関マップ635aが作成される。
所定時間内に検出された複数の人物間の評価値をカウントアップすると、上記関連性判定部635は、それらの人物間の評価値が所定の値以上となったか否かを判断する(ステップS804)。この判断により当該評価値が所定の値未満であると判断した場合(ステップS804、NO)、上記関連性判定部635は、上記ステップS801へ戻り、上述した処理を繰り返し実行する。
また、上記判断により評価値が所定の値以上となったと判断した場合(ステップS804、YES)、上記関連性判定部635は、それらの人物が同じグループである可能性が高いと判定する(ステップS805)。同一グループらしいと判定した場合、上記関連性判定部635は、上記記憶部631に記憶されている、それらの人物のグループ情報を更新する処理を行う(ステップS806)。なお、グループ情報の更新処理は、上記第6の実施の形態で説明したように、一方の人物が属するグループに他方の人物を追加するように、上記記憶部631に記憶されている当該人物のグループ情報を更新するものとする。
また、上記ステップS806では、グループ情報を更新する処理の代わりに、上記のような判定結果を出力部634により外部装置としての監視装置604に出力するようにしても良い。この場合、上記関連性判定部635では、上記監視装置604からの要求に応じて、グループ情報を更新するようにすれば良い。
また、上記のような処理を所定期間繰り返し行うことにより、相関マップには、統計的に、同じ時間帯にセキュリティエリアに存在している傾向がある複数の人物、あるいは、同じ時間帯に出入口を何度も出入りする傾向がある複数の人物を示す情報が蓄積される。このような相関マップによれば、同じ時間帯にセキュリティエリアに存在している複数の人物、あるいは、同じ時間帯に出入口を何度も出入りしている複数の人物が同一グループらしいと判定することが可能となる。
なお、上記第5の実施の形態と同様に、出入口が設けられている各監視エリアには、セキュリティエリアに入場する人物を撮影するカメラとセキュリティエリアから出場する人物を撮影するカメラとを設けるようにしても良い。この場合、入場する人物と出場する人物とを区別することが可能となる。
上記第8の実施の形態によれば、待ち合わせ、あるいは、物の受け渡しなどの一緒に行動する時間が短い人物同士であっても、セキュリティエリア内に同時間帯に出入りする傾向が見られる人物同士を判定することが可能となる。これは、各人物の入出場のパターンに基づいて、セキュリティエリア内で集団行動を行っているらしい複数の人物を検出するのに効果がある。
次に、第9の実施の形態について説明する。
第9の実施の形態は、たとえば、上記第5の実施の形態の変形例である。このため、第9の実施の形態に係る通行者認識システム900は、第5の実施の形態で説明した図17に示すような構成であるものとする。第9の実施の形態に係る通行者認識システム900は、同一グループに属する複数の人物でなくても、特定のグループに属する人物(あるいは特定の人物)を含む複数の人物からなる集団が検出された場合、警報を監視装置へ通知するものである。
上記第5の実施の形態では、同一グループに属する複数の人物を検出する。このため、上記第5の実施の形態では、特定のグループに属する複数の人物が検出された場合に、監視装置に警報を通知する運用が可能である。これに対して、第9の実施の形態では、特定のグループに属する人物を含む複数の人物が検出する。これにより、第9の実施の形態では、特定のグループに属する少なくとも1人の人物が検出された場合に、監視装置に警報を通知する運用が可能である。
すなわち、上記第9の実施の形態に係る通行者認識システム900において、グループ判定部533は、上記各通行者認識装置502による人物の認識結果に基づいて各人物のグループを判定する処理(グループ判定処理)と各グループごとの集団行動を判定する処理(集団行動の判定処理)とを行う。なお、上記グループ判定部533における各人物のグループ判定処理は、上記第1の実施の形態で説明したグループ判定部123によるグループ判定処理と同様な方法で実現可能である。また、各人物のグループ判定処理は、上記第1の実施の形態と同様に、各通行者認識装置502が実行するようにしても良い。
上記グループ判定部533による集団行動の判定処理は、特定のグループに属する人物を含む複数の人物が集団行動しているか否かを判定する処理である。このため、上記グループ判定部533は、特定のグループに属する人物(あるいは特定の人物)と他の人物(未登録者、他のグループに属する人物、あるいは、グループに属していない人物)との接近度を判定するものとする。上記接近度は、上記第5の実施の形態で説明したように、所定の条件に基づいて判定される。上記接近度を判定するための条件としては、たとえば、「同時刻に同じ場所(監視エリア)にいた」(第1の条件)、あるいは、「同時間帯にセキュリティエリアへ入場あるいは出場した」(第2の条件)などがある。ここでは、第1の条件に基づく接近度により特定のグループに属する人物を含む複数の人物が集団行動しているか否かを判定する処理について説明する。
図29は、第9の実施の形態に係る通行者認識システム900において作成される接近マップ533aの例を示す図である。図29に示す例は、ある監視エリアにおける各人物間の接近度を示す接近マップ533aの例を示しているものとする。
図29に示す接近マップ533aの例では、図18と同様に、各人物同士が一緒にいた時間の長さを示す値が接近度として記憶される。すなわち、同一の入力画像(ある監視エリアを撮影した画像)から同一グループの複数の人物が継続的(連続的)に検出(認識)されている場合、それらの人物間の接近度は、所定時間ごとに更新(カウントアップ)されるようになっている。また、図29に示す接近マップ533aの例では、各人物のグループと各グループに対応付けられている警報のレベルが設定されていることを示している。さらに、図29に示す接近マップ533aの例では、未登録者についても、接近度が投票されるようになっている。
たとえば、図12に示す例では、要注意集団に属する人物Eと未登録者Aとの接近度が高くなっている。もし、要注意集団(特定のグループ)に属する人物Eと未登録者Aとの接近度が所定の閾値を超えたものとすると、通行者認識システム900のグループ判定部533では、上記人物Eと未登録者Aとは集団行動しているものと判定される。この場合、出力部534は、要注意集団(特定のグループ)に対応付けられている警報レベル5の警報を監視装置(外部機器)504へ通知する。
なお、未登録者については、最初に検出された際に、当該未登録者の顔画像と顔の特徴情報と自動的に発番されるID番号(識別情報)とが未登録者の情報(仮の登録情報)として記憶部531に記憶されるものとする。これにより、各未登録者についても、2度目以降に検出された場合には、上記のような未登録者の情報により認識が可能となる。
次に、第9の実施の形態としての集団行動の判定処理の流れついて説明する。
図30は、上記第1の条件に基づく接近度による集団行動の判定処理の例を説明するためのフローチャートである。
まず、上記グループ判定部533は、各通行者認識装置502あるいは履歴データベース532から認識結果を順次取得する(ステップS901)。認識結果を取得すると、上記グループ判定部533は、上記記憶部531に記憶されている登録情報を参照し、当該認識結果において認識された全ての人物についてグループを判定する(ステップS902)。認識された全ての人物のグループを判定すると、上記グループ判定部533は、1の入力画像から特定のグループに属する人物を含む複数の人物が認識されたか否かを判断する(ステップS903)。1つの入力画像から特定のグループに属する人物を含む複数の人物が認識されなかったと判断した場合(ステップS903、NO)、上記グループ判定部533は、ステップS901へ戻り、上述した処理を繰り返し実行する。
また、上記判断により1つの入力画像から特定のグループに属する人物を含む複数の人物が認識されたと判断した場合(ステップS903、YES)、上記グループ判定部533は、当該入力画像を撮影した監視エリアの接近マップ533aに対して、特定のグループに属する人物に対する他の人物の接近度をカウントアップする(ステップS904)。なお、継続的に1つの入力画像において同時に認識されている複数の人物間の接近度を更新(カウントアップ)する場合、それらの人物間の接近度については、所定時間ごとに更新することとする。
また、1つの入力画像から認識された特定のグループに属する人物を含む複数の人物間の接近度をカウントアップすると、上記グループ判定部533は、それらの人物間の接近度が所定の値以上となったか否かを判断する(ステップS905)。
この判断により接近度が所定の値未満であると判断した場合(ステップS905、NO)、上記グループ判定部533は、上記ステップS901へ戻り、上述した処理を繰り返し実行する。
また、上記判断により上記接近度が所定の値以上となったと判断した場合(ステップS905、YES)、上記グループ判定部533は、それらの人物による集団行動に対する警報のレベルを判定する(ステップS906)。なお、各グループに対応する警報のレベルは、グループに対応づけて設定されているものとする。もし、グループ3が警報レベル「5」に設定されていれば、上記グループ3に属する人物を含む複数の人物が集団行動していると判定された場合、上記グループ判定部533は、警報レベル「5」の警報を監視装置504へ送信するための情報を出力部534へ供給する。これにより、上記出力部534は、警報レベル「5」の警報を外部機器へ送信する。
上記のように、第9の実施の形態では、特定のグループに属する人物を含む複数の人物が集団で行動しているか否かを判定し、特定のグループに属する人物を含む複数の人物が集団行動していることを検出した場合には、当該特定のグループに対応付けられている警報レベルで警報を外部機器へ通知するようになっている。
これにより、特定の人物または特定のグループに属する人物を含む複数の人物が集団行動していることを検出でき、さらに、特定のグループに対応づけられている警報レベルで警報を発することが可能となる。特に、未登録者と特定のグループに属する人物とが集団行動していることを検出できる。この結果として、たとえば、不審者のグループなどを効果的に警戒することができ、高度なセキュリティを実現できる。
なお、上述した各実施の形態に係る通行者認識システムは、周辺の他のセキュリティエリアに設置されているシステムと連携して動作するようにしても良い。たとえば、図16に示すような特定のエリア内を監視する通行者認識システムが、周辺の他のセキュリティエリアに設置されているシステムと連携して登録者情報あるいは履歴情報などの情報を共有化することも可能である。このような形態は、たとえば、上述した各実施の形態の通行者認識装置あるいはサーバ装置に他のシステムとの通信機能を設け、通行者認識装置あるいはサーバ装置内の記憶部に記憶されている情報などを他のシステムと共有化することにより実現できる。
100、200、300、400、500、600、700、800、900…通行者認識システム、101、201、301、401、501、601…カメラ、102、202、302、402、502、602…通行者認識装置、103、203、303、403…ゲート装置、104、204、304、404、504、604…監視装置、111、211、311、411、511、611…入力部、112、212、312、412、512、612…制御部、113、213、313、413、534、634…出力部、114、214、314、431、531、631…記憶部、121、221、321、421、521、621…特徴検出部、122、222、322、422、522、622…認識部、123、223、323、423、533、633…グループ判定部、333、635…関連性判定部、333a、635a…相関マップ(データテーブル)、405、505、605…サーバ装置、432、532、632…履歴データベース、433…グループ管理部、433a…データテーブル