JP6994375B2 - 画像監視装置 - Google Patents

Description

本発明は、監視領域を撮像した画像から、受け渡し行為等を行った可能性のある不審者を検知する画像監視装置に関する。

昨今、空港の到着ロビーのように不特定多数の人物が集まる監視領域においてテロに対する監視の強化が急務とされている。そのような監視領域で監視すべき項目のひとつに危険物の受け渡し行為が挙げられる。

従来、不特定多数の人物が集まる監視領域を撮影して画像解析することにより受け渡し行為を自動検出することで監視効率の向上を図っていた。

例えば、特許文献１に記載の画像監視装置においては、異なる時刻に撮影された同一の人物の像を比較して基準値以上の大きさを有する相違領域が検出された場合に当該人物に所持物の有無の変化が生じたと判定し、所持物の所持状態から非所持状態に変化した所持物消失人物と所持物の非所持状態から所持状態に変化した所持物出現人物との距離が予め定めた距離範囲内である場合に受け渡し行為があったと判定していた。

また、例えば、特許文献２に記載の画像監視システムにおいては、撮影された人物の像と予め登録したカバン等の物品の画像または物品の特徴量とを照合して当該人物が登録された物品を所持しているか否かを判定し、所持物品が消失した人物と所持物品が出現した人物との距離が予め定めた距離範囲内である場合に受け渡し行為があったと判定していた。または、当該システムにおいては、撮影された画像から所持物品を受け渡している最中の人物の姿勢の特徴が検出された場合に受け渡し行為があったと判定していた。

特開２０１７－０１６３４４号公報 特開２０１７－０２８５６１号公報

しかしながら、到着ロビーのように不特定多数の人物が集まり且つ専ら出迎えのために人物同士の接触が生じる監視領域では、不審度の低い受け渡しが頻繁に検出されてしまい、監視効率が低下する問題があった。

例えば、到着ロビーでは、到着した人物と出迎える人物の間で土産物の授受が頻繁に生じ得る。また、到着ロビーでは、到着した人物の労をねぎらって、出迎える人物が到着した人物のカバンを運ぶ行為も頻繁に生じ得る。

本発明は、上記問題を鑑みてなされたものであり、不特定多数の人物が集まり且つ専ら出迎えのために人物同士の接触が生じる監視領域において、不審度の高い受け渡しを行った可能性のある不審者を効率的に監視可能な画像監視装置を提供することを目的とする。

かかる目的を達成するために本発明は、所定の監視領域を撮影した監視画像を順次取得する画像取得手段と、前記監視画像に基づいて前記監視領域に出現した複数の人物を追跡する人物追跡手段と、前記複数の人物の中から、所定の不審行動判定時間の範囲内で人物間距離が所定の近接判定距離以下である近接位置関係を維持した人物のグループを検出するグループ検出手段と、前記グループの人物が前記近接判定距離よりも長く定められた離間判定距離を超える離間位置関係となった場合に当該グループに別行動が発生したと判定する別行動判定手段と、前記別行動の発生が判定されたグループの人物を不審者と判定する不審者判定手段と、を備えたことを特徴とする画像監視装置を提供する。

また、さらに、前記監視領域内の互いに異なる進入口に対応する複数の進入口領域を予め記憶している監視領域情報記憶手段、を備え、前記グループ検出手段は、出現した位置が異なる前記進入口領域である人物を含んだ前記グループを検出することが好適である。

また、前記グループ検出手段は、前記不審行動判定時間の範囲内で前記近接位置関係を維持した人物について、当該近接位置関係となる直前の移動方向差を算出し、当該移動方向差が所定の別方向判定角度を超える場合に前記グループを検出することが好適である。

また、前記監視画像における前記近接位置関係を維持していた人物の人物画像を、予め取得した受け渡し姿勢の画像特徴と比較して、当該人物の姿勢が前記受け渡し姿勢であるか否かを判定する姿勢判定手段、をさらに備え、前記グループ検出手段は、前記受け渡し姿勢が判定された人物のグループを検出することが好適である。

また、前記グループ検出手段は、前記不審行動判定時間の範囲内で前記近接位置関係を維持した人物について、当該近接位置関係を維持していた時の移動距離を算出し、当該移動距離が所定の静止判定距離以下である場合に前記グループを検出することが好適である。

また、前記別行動判定手段は、前記グループの人物が前記離間位置関係を継続した離間時間を計測し、前記離間時間が所定の別行動判定時間を超えた場合に当該グループに前記別行動が発生したと判定することが好適である。

また、前記別行動判定手段は、前記グループの人物が前記離間位置関係を維持したまま前記監視領域から消失した場合に当該グループに前記別行動が発生したと判定することが好適である。

また、前記別行動判定手段は、前記離間位置関係となったグループについて、前記近接位置関係から当該離間位置関係となるまでの人物の移動方向差を算出し、当該移動方向差が所定の別行動判定角度を超える場合に前記別行動が発生したと判定することが好適である。

また、前記不審者判定手段は、前記人物の前記監視領域における滞在時間を計測し、前記別行動の発生が判定されたグループの人物の前記滞在時間が所定の短期滞在判定時間以下である場合に当該人物を不審者と判定することが好適である。

本発明によれば、出迎えや単なる並進をした人物と区別して不審な受け渡しを行った可能性のある不審者を判定できるため、不特定多数の人物が集まり且つ専ら出迎えのために人物同士の接触が生じる監視領域において、不審者を効率的に監視できる。

実施形態に係る画像監視装置１の概略の構成を示すブロック図である。 実施形態に係る画像監視装置１の機能を示す機能ブロック図である。 監視領域情報とグループ検出の様子を例示した模式図である。 監視領域情報と別行動判定および不審者判定の様子を例示した模式図である。 人物情報記憶手段４０の人物情報の例を示した図である。 グループ情報記憶手段４２のグループ情報の例を示した図である。 受け渡し姿勢を判定する処理の例を示した図である。 実施形態に係る画像監視装置の動作を示したフローチャートである。 実施形態に係る画像監視装置による人物追跡処理のフローチャートである。 実施形態に係る画像監視装置によるグループ検出処理のフローチャートである。 実施形態に係る画像監視装置による別行動判定処理のフローチャートである。 実施形態に係る画像監視装置による不審者判定処理のフローチャートである。

以下、本発明の実施形態として、空港内の到着ロビーが撮影された監視画像から不審者を検出して、検出結果を監視員に対して表示する画像監視装置１の例を説明する。すなわち本実施形態における監視領域は到着ロビーである。

＜画像監視装置１の構成＞
図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、撮影部２、通信部３、記憶部４、画像処理部５、および表示部６からなる。

撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、監視領域を所定の時間間隔で撮影して監視画像を順次出力する撮影手段である。例えば、撮影部２は、隣り合う監視カメラとの共有視野を有して連鎖配置された複数の監視カメラである。これらの監視カメラは、それぞれ監視領域内や監視領域近傍の天井、柱、壁、ポールなどに当該監視領域を俯瞰する視野に固定された状態で設置され、予めキャリブレーションされる。撮影部２は、監視領域をフレーム周期１秒で撮影し、可視のカラー画像を生成する。以下、フレーム周期で刻まれる時間を時刻と称する。なお、撮影部２を単一のカメラで構成してもよいし、カラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が同軸ケーブルまたはＬＡＮ（Local Area Network）、インターネットなどの通信網を介して撮影部２および表示部６と接続される。通信部３は、撮影部２から監視画像を取得して画像処理部５に入力し、画像処理部５から入力された検出結果を表示部６に出力する。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４と接続され、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、各種データを記憶部４に記憶させ、読み出す。また、画像処理部５は、通信部３を介して撮影部２および表示部６とも接続され、通信部３経由で撮影部２から取得した監視画像を解析することにより不審者を検出し、検出結果を通信部３経由で表示部６に表示させる。

表示部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３を介して画像処理部５と接続され、画像処理部５による検出結果を表示する表示手段である。監視員は表示された検出結果を視認して不審者に対する対処の必要性を判断し、必要に応じて対処員を急行させる等の対処を行う。

＜画像監視装置１の機能＞
図２は画像監視装置１の機能を示す機能ブロック図である。通信部３は画像取得手段３０および不審者情報出力手段３１等として機能し、記憶部４は人物情報記憶手段４０、監視領域情報記憶手段４１およびグループ情報記憶手段４２等として機能する。画像処理部５は、人物追跡手段５０、グループ検出手段５１、姿勢判定手段５２、別行動判定手段５３および不審者判定手段５４等として機能する。

画像取得手段３０は、撮影手段である撮影部２から監視画像を順次取得して、取得した監視画像を人物追跡手段５０、姿勢判定手段５２および不審者情報出力手段３１に順次出力する。

以下、図２～図７を参照して各手段について説明する。

人物情報記憶手段４０は、監視画像に写る各人物についての情報である人物情報を記憶する。具体的には、人物情報記憶手段４０は、各人物の人物情報として、人物追跡手段５０によって監視画像から抽出された当該人物の人物画像、当該人物画像が抽出された位置（人物位置）が列挙された人物位置履歴、監視画像において当該人物の人物画像を特徴づける色ヒストグラムなどの人物特徴量などを当該人物の人物ＩＤと対応付けて記憶する。人物位置履歴には少なくとも出現位置と現在位置が含まれる。

また、人物情報記憶手段４０は、各人物の人物情報として、さらに各人物の人物ＩＤと対応付けて当該人物に関するグループ検出手段５１、別行動判定手段５３および不審者判定手段５４の中間データを記憶する。

図５は人物情報のうちの中間データを例示したものであり、図５（ａ）は或る時刻ｔにおいて追跡中の人物Ａ～Ｅの中間データ２００を、図５（ｂ）はその３０時刻後の中間データ２０１を、それぞれ示している。

出現位置は、グループ検出手段５１が生成する中間データであり、各人物が出現した監視領域内の進入口に対応する。本実施形態において出現位置には、初期値である空欄、「入国ゲート」、「入退室エリア」のいずれかが設定される。

滞在時間は、不審者判定手段５４が生成する中間データであり、各人物が監視領域内に滞在している時間を表す。

静止時間は、グループ検出手段５１が生成する中間データであり、各人物が静止とみなせる状態となっていた時間を表す。

直近移動方向は、別行動判定手段５３が生成する中間データであり、各人物の最新の移動方向を表す。本実施形態において、移動方向は、監視領域を模したＸＹＺ座標系の仮想三次元空間におけるＸ軸方向を０度として反時計回りに増加する角度で表す。

人物追跡手段５０は、画像取得手段３０から順次入力される監視画像を解析することにより監視領域に出現した複数の人物を追跡して各人物の人物情報を生成し、生成した人物情報を人物情報記憶手段４０に記憶させる。

具体的には、人物追跡手段５０は、入力された監視画像に背景差分処理を施して人物領域を検出し、監視画像から人物領域内の画像を切り出して人物画像を抽出する。また、人物追跡手段５０は、当該人物画像から特徴量を抽出して人物情報記憶手段４０に記憶されている人物特徴量との類似度を算出するとともに、当該人物画像の代表点を人物位置として算出する。

人物位置は例えば各人物の最下端（足元）の三次元位置である。例えば、撮影部２をキャリブレーションされた複数の監視カメラで構成する場合、各監視カメラから抽出した人物画像を世界座標系に逆投影して得られる視体積に三次元人物モデルを当てはめることで頭部中心位置を決定することができる。人物位置は人物の重心、最上端または頭部中心など他の代表点とすることもできる。また人物位置は、監視画像の平面座標系（すなわち人物画像の代表点）で表してもよい。

人物画像から抽出した特徴量との類似度が予め定めた同定閾値を超える人物特徴量が記憶されていない場合、人物追跡手段５０は、新たな人物ＩＤを発行し、人物画像から抽出した特徴量を人物特徴量として当該人物ＩＤと対応付けて人物情報記憶手段４０に記憶させるとともに、当該人物ＩＤと対応付けて人物画像および人物位置を人物情報記憶手段４０に記憶させる。なお、撮影部２を複数の監視カメラで構成する場合は、例えば、人物から最も近い監視カメラにて抽出した人物画像を記憶させればよい。

一方、人物画像から抽出した特徴量との類似度が同定閾値を超える人物特徴量が記憶されている場合、人物追跡手段５０は、当該人物画像を当該人物特徴量が示す人物のものと同定する。人物追跡手段５０は、人物画像を、同定した人物の人物ＩＤおよび人物位置と紐づけて人物情報記憶手段４０に記憶させる。また、人物追跡手段５０は同定した人物の人物特徴量を人物画像から抽出した特徴量で更新する。

また、人物追跡手段５０は、いずれの人物画像とも同定されなかった人物特徴量を、監視領域外に移動して追跡を終えた人物のものであるとして人物情報記憶手段４０から削除する。

監視領域情報記憶手段４１は、監視領域内の互いに異なる進入口を表す第一進入口領域および第二進入口領域と含んだ監視領域情報を予め記憶している。例えば、到着ロビーを監視領域とする本実施形態において、第一進入口領域が表す第一進入口は入国ゲートであり、第二進入口領域が表す第二進入口はそれ以外の扉、通路およびエスカレータの乗降口などである。監視領域は出迎えられる者と出迎える者とが専ら接触し、出迎えられる者は少なくとも第一進入口領域から出現した人物の中に含まれ、出迎える者は少なくとも第二進入口領域から出現した人物の中に含まれると推定できる。

例えば、人物位置を人物の最下端の三次元位置で表す本実施形態においては、第一進入口領域および第二進入口領域のそれぞれは、監視領域を模した仮想三次元空間における基準面上（床面上）の領域として設定される。図３はＸＹＺ座標系で表される仮想三次元空間の基準面を模式的に表したものであり、基準面上に設定された第一進入口領域１０１、第二進入口領域１０２，１０３を例示している。

なお、人物位置を他の代表点とする場合は仮想三次元空間における三次元領域としてもよく、人物位置を監視画像の平面座標系の代表点とする場合は当該平面座標系の二次元領域とすることができる。

グループ情報記憶手段４２は、人物の組み合わせに関する情報を記憶する。本実施形態においてグループ情報記憶手段４２には、追跡中の人物の全ペアに関し、グループ検出手段５１、姿勢判定手段５２、別行動判定手段５３および不審者判定手段５４による検出結果や判定結果の他に、これら各手段による中間データを記憶する。そのため、グループとして検出された人物のペアに関する情報の他に、未だグループとして検出されていない人物ペアの情報を含んで記憶するが、便宜上これらをグループ情報と称する。

図６は図５の人物情報に対応するグループ情報３００を例示している。

人物ペアは、追跡中の人物のペアであり、人物ＩＤの組み合わせで表される。

近接時間は、グループ検出手段５１が生成する中間データであり、各人物ペアが近接していた時間を表す。

姿勢フラグは、姿勢判定手段５２が生成する判定結果のデータであり、各人物ペアの姿勢が受け渡し姿勢と判定された場合は１、そうでない場合は０が設定される。

グループフラグは、グループ検出手段５１が生成する検出結果のデータであり、各人物ペアがグループとして検出された場合は１、そうでない場合は０が設定される。

離間時間は、別行動判定手段５３が生成する中間データであり、各人物ペアが離間していた時間を表す。離間時間はグループとして検出された人物ペアについてのみ計測される。

別行動状態は、別行動判定手段５３が生成する判定結果のデータであり、各人物ペアについて、確度の高い別行動が判定された場合は「あり」、確度の低い別行動が判定された場合は「警告」、そうでない場合は「なし」が設定される。別行動状態はグループとして検出された人物ペアについてのみ判定される。

不審度は、不審者判定手段５４が生成する判定結果のデータであり、各人物ペアを構成する人物が不審者の可能性があると判定された場合は１以上の整数、そうでなければ０が設定される。本実施形態において不審度の値域は０～２である。不審者の可能性があると判定された場合、不審者である確度が高いほど大きな値が設定される。

グループ検出手段５１は、複数の人物の中から、所定の不審行動判定時間の範囲内で人物間距離が所定の近接判定距離Ｄ１以下である近接位置関係を維持した人物のグループを不審者の可能性があるグループとして検出し、検出したグループの情報をグループ情報記憶手段４２に記憶させる。

具体的には、グループ検出手段５１は、人物情報記憶手段４０に記憶されている人物情報とグループ情報記憶手段４２に記憶されているグループ情報とを参照して、各時刻において追跡中である人物の組み合わせ（人物ペア）ごとに人物位置の間の距離（人物間距離）を算出してＤ１と比較することで近接位置関係であるか否かを判定し、近接位置関係であると判定された人物ペアごとに近接位置関係であると判定され続けた時間（近接時間）を計測して群行動判定時間Ｔ１および短期接触判定時間Ｔ２と比較し、近接時間がＴ１を超えており且つＴ２以下であるグループを検出する。

つまり、Ｔ１よりも長い時間、Ｄ１以下の距離に近接し続けていた人物同士は、単にすれ違った人物同士ではなく、会話や受け渡しなどの相手への関与があった人物同士であるとし、さらに、Ｔ２以下の短い時間だけ、Ｄ１以下の距離に近接し続けていた人物同士は、長時間人目に触れることを避けて接触した人物同士であるとし、これらの人物を不審者の可能性があるグループとして検出する。群行動判定時間Ｔ１は例えば歩いてすれ違う人物同士がＤ１以下の距離に近接してからＤ１を超える距離に離間するまでの典型的な所要時間にマージンを加えた長さに予め設定しておくことができ、短期接触判定時間Ｔ２は例えば受け渡しのみに要する時間にマージンを加えた長さに予め設定しておくことができ、近接判定距離Ｄ１は例えば腕２本分の長さにマージンを加えた距離に予め設定しておくことができる。

ここで、時間と距離だけで検出したグループには、たまたま並進しているだけの人物も含まれ得る。そこで、たまたま並進しているだけの人物をグループとして検出しないよう、グループ検出手段５１は、出現した位置に対応する進入口領域が異なる人物とを含んだグループを検出する。具体的には、グループ検出手段５１は、人物情報記憶手段４０に記憶されている人物情報と監視領域情報記憶手段４１に記憶されている監視領域情報とを参照し、各人物の出現位置を第一進入口領域および第二進入口領域の座標と比較することによって、当該人物の出現位置が第一進入口領域であるか、第二進入口領域であるかを判定する。そして、グループ検出手段５１は、不審行動判定時間の範囲内で人物間距離が近接判定距離Ｄ１以下である近接位置関係を維持した人物の組み合わせのうち、出現位置が第一進入口領域である人物と出現位置が第二進入口領域である人物の組み合わせをグループとして検出する。

また、相手への関与があった人物同士であることの確度を高めるために、両者が立ち止まったことをグループ検出の条件とすることもできる。すなわち、グループ検出手段５１は、不審行動判定時間の範囲内で近接位置関係を維持した人物について、当該近接位置関係を維持していた時の移動距離を算出し、当該移動距離が所定の静止判定距離Ｄ０以下である場合にグループを検出する。なお、近接位置関係を維持した時間の全てにおいてＤ０以下の移動距離である必要はなく、所定の静止判定時間Ｔ３だけＤ０以下の移動距離であれば相手への関与があった人物同士であることを確認できる。

具体的には、グループ検出手段５１は、人物情報記憶手段４０に記憶されている人物情報を参照し、近接位置関係であると判定された人物の人物位置から当該人物の近接位置関係が判定されている間の移動距離を算出してＤ０と比較し、移動距離がＤ０以下であった時間（静止時間）を計測してＴ３と比較する。静止判定距離Ｄ０は例えば人ひとりの幅程度の距離とすることができ、静止判定時間Ｔ３は例えば群行動判定時間Ｔ１と同程度の時間に予め設定しておくことができる。そして、グループ検出手段５１は、不審行動判定時間の範囲内で人物間距離が近接判定距離Ｄ１以下である近接位置関係を維持した、出現位置が異なる進入口領域である人物の組み合わせのうち、Ｔ３よりも長い時間に移動距離がＤ０以下である人物を含む組み合わせをグループとして検出する。

そして、グループ検出手段５１は、グループ情報における、グループとして検出された人物ペアのグループフラグに１、グループとして検出されていない人物ペアのグループフラグに０を設定する。また、グループ検出手段５１は、検出処理の中間結果として、人物情報における各人物の出現位置、静止時間を人物情報記憶手段４０との間で適宜入出力し、グループ情報における各人物ペアの近接時間をグループ情報記憶手段４２との間で入出力する。

また、受け渡しがあった人物同士であることの確度を高めるために、両者が立ち止まったことに加えて、或いは両者が立ち止まったことに代えて、受け渡しの姿勢をとったことをグループ検出の条件としてもよい。

そのために、姿勢判定手段５２は、監視画像のうちのグループの人物が近接位置関係を維持していた時の監視画像を、予め取得した受け渡し姿勢の画像特徴と比較して、当該人物の姿勢が受け渡し姿勢であるか否かを判定し、判定結果をグループ情報記憶手段４２に記憶させる。そして、グループ検出手段５１は、この判定結果を参照してグループの検出を行う。

具体的には、まず、姿勢判定手段５２は、人物情報記憶手段４０に記憶されている人物情報を参照し、近接位置関係であると判定された人物の人物画像から複数の部位を検出する。すなわち、姿勢判定手段５２は、予め頭、右肩、右肘、右手首、左肩、左肘、左手首、右臀部、右膝、右足首、左臀部、左膝、左足首の各画像および各画像間の位置関係を学習した部位識別器であって記憶部４に記憶させている部位識別器に、近接位置関係であると判定された人物の人物画像を入力して、当該人物画像における部位の配置を特定する。

次に、姿勢判定手段５２は、特定した配置における右手および左手の部位形状モデルの位置を検出する。検出された位置は各人物の人物領域におけるローカルな位置である。姿勢判定手段５２は、各人物の人物画像における右手および左手の位置に、当該人物の人物画像の代表位置である人物位置を加えて監視領域におけるグローバルな右手および左手の位置を算出する。なお、人物画像中の人物領域と複数の部位の形状モデルとの形状マッチングによって各部位の位置を検出してもよい。

続いて、姿勢判定手段５２は、近接位置関係であると判定された人物の間で監視領域における右手および左手の位置の組み合わせの距離を算出して、算出した距離の中から最小の距離を人物間での手の距離として求める。

そして、姿勢判定手段５２は、近接位置関係であると判定された人物の組み合わせについて、当該人物間での手の距離が予め定めた閾値Ｄ３以下である場合に、人物の組み合わせの姿勢が受け渡し姿勢であると判定して、グループ情報記憶手段４２の姿勢フラグを１に更新する。なお、姿勢フラグの初期値は０であり、１に更新されなかった人物の組み合わせの姿勢フラグは０に維持される。また閾値Ｄ３はカバンの幅程度の長さに予め設定しておくことができる。

図７は、カバンを受け渡している人物ＡとＣの人物画像５１０，５２０に対する姿勢判定処理の例を示している。図中の丸印は検出された部位の位置を示している。この例では、姿勢判定手段５２によって、左側の人物Ａの人物画像５１０から右手首５１１および左手首５１２が検出され、右側の人物Ｃの人物画像５２０から右手首５２１および左手首５２２が検出されている。そして、姿勢判定手段５２は、これらのうち左手首５１２と右手首５２１の間の距離を人物間での手の距離として算出し、当該距離がＤ３以下であることから人物ＡとＣの姿勢は受け渡し姿勢であると判定し、図６のグループ情報における人物ペア「Ａ，Ｃ」の姿勢フラグの値を１に更新する。

グループ検出手段５１によって検出されるグループには、不審者グループのみならず単なる出迎えのグループも含まれている。別行動判定手段５３は、検出されたグループを構成する人物がその後に別行動をとったか否かを判定することにより、別行動をとる不審グループと、別行動をとらないことが多い出迎えのグループの区別を可能にする。

そのために別行動判定手段５３は、少なくとも、グループの人物が近接判定距離Ｄ１よりも長く定められた離間判定距離Ｄ２を超える離間位置関係となった場合に当該グループに別行動が発生したと判定し、判定結果をグループ情報記憶手段４２に記憶させる。具体的には、別行動判定手段５３は、人物情報記憶手段４０に記憶されている人物情報とグループ情報記憶手段４２に記憶されているグループ情報とを参照して、各時刻においてグループフラグに１が設定されている人物ペアごとに人物間距離を算出してＤ２と比較することで当該人物ペアが離間位置関係であるか否かを判定する。例えば、離間判定距離Ｄ２は近接判定距離Ｄ１の３倍程度の長さなどとすることができる。

図５には、或る時刻ｔにおける人物情報の中間データ２００を例示している。また、図３には、図５で示した時刻ｔまでに、人物Ａ～Ｅを追跡して得られた人物位置を結んだ移動軌跡１１０～１１４を模式的に示している。また、図６には、時刻ｔから３０時刻後のグループ情報３００を例示している。

これらを基にグループ検出手段５１によるグループ検出の例を説明する。

図５の中間データ２００および図３の移動軌跡１１０，１１２に示したように、人物Ａの出現位置は入国ゲート１０１、人物Ｃの出現位置は入退室エリア１０２であり、互いに異なる。人物ＡとＣは、時刻ｔにおいてＤ１以下の距離に近接し、図６のグループ情報３００の近接時間に示したようにその後１０時刻の間、近接位置関係が維持された。また、中間データ２００の静止時間に示したように近接位置関係が維持されている間に、少なくとも人物ＡとＣは５時刻の間静止していた。さらにはグループ情報３００に示したように人物ペア「Ａ，Ｃ」が受け渡し姿勢をとったことが判定されて当該ペアの姿勢フラグに１が設定された。これらのデータから人物ペア「Ａ，Ｃ」は検出条件を満たすものとされ、グループとして検出された。

また、中間データ２００および移動軌跡１１１に示したように、人物Ｂの出現位置は入国ゲート１０１であり、人物Ｃの出現位置とは異なる。人物ＢとＣは、時刻ｔにおいてＤ１以下の距離に近接し、グループ情報３００の近接時間に示したようにその後１０時刻の間、近接位置関係が維持された。また、中間データ２００の静止時間に示したように近接位置関係が維持されている間に、少なくとも人物ＢとＣは５時刻の間静止していた。さらにはグループ情報３００に示したように人物ペア「Ｂ，Ｃ」が受け渡し姿勢をとったことが判定されて当該ペアの姿勢フラグに１が設定された。これらのデータから人物ペア「Ｂ，Ｃ」は検出条件を満たすものとされ、グループとして検出された。

また、中間データ２００および移動軌跡１１３，１１４に示したように、人物Ｄの出現位置は入国ゲート１０１であり、人物Ｅの出現位置は入退室エリア１０３であり、互いに異なる。人物ＤとＥは、時刻ｔにおいてＤ１以下の距離に近接し、グループ情報３００の近接時間に示したようにその後１０時刻の間、近接位置関係が維持された。また、中間データ２００の静止時間に示したように近接位置関係が維持されている間に、少なくとも人物ＢとＣは５時刻の間静止していた。さらにはグループ情報３００に示したように人物ペア「Ｄ，Ｅ」が受け渡し姿勢をとったことが判定されて当該ペアの姿勢フラグに１が設定された。これらのデータから人物ペア「Ｄ，Ｅ」は検出条件を満たすものとされ、グループとして検出された。

ここで、不審者ではない出迎えのグループであっても、グループの中のひとりの歩みが遅れてグループの中の別のひとりがそれに気づかずに短時間だけ先に進んでしまうことが生じ得る。このような場合の誤報を防止するために別行動判定手段５３は離間の際の移動方向および／または離間時間を確認することが好適である。

すなわち、別行動判定手段５３は、離間位置関係となったグループについて、近接位置関係から当該離間位置関係となるまでの人物の移動方向差を算出し、当該移動方向差が所定の別行動判定角度ｒを超える場合に別行動が発生したと判定する。

また、別行動判定手段５３は、グループの人物が離間位置関係を継続した離間時間を計測し、離間時間が所定の別行動判定時間Ｔ４を超えた場合に当該グループに別行動が発生したと判定する。

具体的には、別行動判定手段５３は、人物情報とグループ情報とを参照して、各時刻においてグループフラグに１が設定されている人物ペアごとに、人物間距離がＤ２を超えたときの両者の直近移動方向の差を離間時の移動方向差として算出して別行動判定角度ｒと比較するとともに、人物間距離がＤ２を超えている時間を離間時間として計測してＴ４と比較し、移動方向差がｒを超え、且つ離間時間がＴ４を超えた場合に当該人物ペアに別行動が発生したと判定する。別行動判定角度ｒは例えば９０度とすることができ、離間時間は例えば数秒程度の長さとすることができる。

なお、上記説明では、移動方向差がｒを超え且つ離間時間がＴ４を超えることを条件としたが、一方のみの成立を条件とし、移動方向差がｒを超えた場合に別行動が発生したと判定してもよいし、離間時間がＴ４を超えた場合に別行動が発生したと判定してもよい。また、２以上の条件成立を管理して成立した条件別にランク付けしてもよい。

本実施形態では、移動方向差がｒを超え且つ離間時間がＴ４を超えた場合と、離間時間がＴ４を超えた場合に別行動が発生したと判定し、前者を後者よりも確信度が高い状態として管理する。

そして、別行動判定手段５３は、グループ情報における、移動方向差がｒを超え且つ離間時間がＴ４を超えた人物ペアの別行動状態に「あり」、離間時間がＴ４を超えた且つ移動方向差が未だｒを超えていない人物ペアの別行動状態に「警告」、それ以外の人物ペアの別行動状態に「なし」を設定する。また、別行動判定手段５３は、判定処理の中間結果として、人物情報における各人物の離間時間を人物情報記憶手段４０との間で適宜入出力し、グループ情報における各人物ペアの直近移動方向をグループ情報記憶手段４２との間で入出力する。

不審者判定手段５４は、少なくとも別行動判定手段５３による判定結果を参照して、別行動の発生が判定されたグループの人物を不審者と判定し、不審者の情報（不審者情報）を生成して不審者情報出力手段３１に出力する。

具体的には、不審者判定手段５４は、グループ情報記憶手段４２に記憶されたグループ情報を参照し、別行動状態が「あり」または「警告」である人物ペアを構成する人物を不審者と判定して、グループ情報記憶手段４２のグループ情報における当該人物ペアの不審度に１以上の値を設定する。このとき、不審者判定手段５４は、別行動状態が「警告」である場合よりも「あり」である場合の方が不審者である確度が高いとして、「警告」である場合の不審度を１、「あり」である場合の不審度を２に設定する。

ここで、受け渡しを行う不審者は人目を避けるために監視領域の滞在時間を短く済ませる傾向があると考えられる。そこで、不審者判定手段５４は、人物の前記監視領域における滞在時間を計測し、別行動の発生が判定されたグループの人物の滞在時間が所定の短期滞在判定時間Ｔ５以下である場合に当該人物を不審者と判定することもできる。短期滞在判定時間Ｔ５は例えば事前の実験等を通じて得られた監視領域の平均滞在時間よりも短い時間に予め設定される。

或いは、滞在時間の短さに応じて不審者である確度を高めることも好適である。この場合、例えば、不審者判定手段５４は、別行動状態が「あり」である人物ペアを構成するいずれかの人物の滞在時間がＴ５以下である場合に当該ペアの不審度を３に設定し、別行動状態が「あり」である人物ペアを構成する人物の滞在時間がいずれもＴ５を超えている場合に当該ペアの不審度を２に設定する。また、例えば、不審者判定手段５４は、さらに別行動状態が「警告」である人物ペアを構成するいずれかの人物の滞在時間がＴ５以下である場合に当該ペアの不審度を２に設定し、別行動状態が「警告」である人物ペアを構成する人物の滞在時間がいずれもＴ５を超えている場合に当該ペアの不審度を１に設定する。

また、不審者判定手段５４は、不審度が１以上である人物グループを構成する人物の人物情報を基に、監視員が当該人物の行動等を視認可能な不審者情報を生成して、不審者情報出力手段３１に出力する。例えば、不審者情報は、監視画像、該当する人物ペアの不審度、および該当する人物の人物画像を合成した画像とすることができる。

不審者情報出力手段３１は、不審者判定手段５４から入力された不審者情報を通信網を介して表示部６に伝送する。そして、不審者情報は、表示部６によって表示され、監視員により視認される。

図５には、或る時刻ｔの３０時刻後における人物情報の中間データ２０１を例示している。また、図４には、時刻ｔからその３０時刻後までに、人物Ａ～Ｅを追跡して得られた人物位置を結んだ移動軌跡２１０～２１４を模式的に示している。また、図６には、時刻ｔから３０時刻後のグループ情報３００を例示している。

これらを基に別行動判定手段５３による別行動判定処理と不審者判定手段５４による不審者判定の例を説明する。

グループ情報３００に示したように、グループフラグに１が設定された人物ペア「Ａ，Ｃ」、「Ｂ，Ｃ」および「Ｄ，Ｅ」がグループとして検出されている。

そのうちの人物ペア「Ａ，Ｃ」は、移動軌跡２１０，２１１に示したように離間時の移動方向差が大きく、グループ情報３００の離間時間に示したように１５時刻の間、離間位置関係を継続している。これらのデータから人物ペア「Ａ，Ｃ」には別行動が発生したと判定され、別行動状態に「あり」が設定された。そして、別行動状態が「あり」に設定されたことを受けて、人物ペア「Ａ，Ｃ」の不審度が２に設定された。

人物ペア「Ｂ，Ｃ」は、移動軌跡２１１，２１２から分かるように離間時の移動方向差が大きいが、グループ情報３００に示したように離間時間は未だ５時刻である。これらのデータから人物ペア「Ｂ，Ｃ」には別行動が発生したと判定され、未だ離間時間が短いため別行動状態に「警告」が設定された。そして、別行動状態が「警告」に設定されたことを受けて、人物ペア「Ｂ，Ｃ」の不審度が１に設定された。

人物ペア「Ｄ，Ｅ」は、移動軌跡２１３，２１４から分かるように離間時の移動方向差が小さいため、別行動の発生が判定されない。そのため、人物ペア「Ｄ，Ｅ」の別行動状態は「なし」のままとなり、人物ペア「Ｂ，Ｃ」の不審度は０のままとなる。

図８～図１２のフローチャートを参照して画像監視装置１の動作を説明する。

画像監視装置１の管理者は監視領域が無人であることを確認して画像監視装置１を起動する。起動後、撮影部２は監視領域を所定時間間隔で撮影して監視画像を順次出力する。通信部３は画像取得手段３０として動作し、監視画像は画像取得手段３０を介して画像処理部５に順次入力される。

画像処理部５では監視画像が取得されるたびに図８のステップＳ１～Ｓ５の処理が繰り返される。

画像取得手段３０を介して監視画像が取得されると（Ｓ１）、画像処理部５が人物追跡手段５０等として動作するとともに記憶部４が人物情報記憶手段４０等として動作し、監視画像中の各人物を追跡する（Ｓ２）。

図９を参照してステップＳ２の人物追跡処理を説明する。人物追跡処理の過程においては、画像処理部５がグループ検出手段５１、姿勢判定手段５２、別行動判定手段５３および不審者判定手段５４としても動作するとともに、記憶部４が監視領域情報記憶手段４０およびグループ情報記憶手段４２としても動作し、適宜、グループ検出や別行動判定、不審者判定のための情報生成が行われる。

まず、人物追跡手段５０は、監視画像と背景画像との差分処理により監視画像から人物画像を抽出して人物位置（現在位置）を特定する（Ｓ２１１）。また、ステップＳ２１１において人物追跡手段５０は、適宜、背景画像の更新を行う。なお、起動直後から所定時間が経過するまで、ステップＳ２１１において人物追跡手段５０は入力された監視画像を平均化するなどして背景画像を生成し、記憶部４に記憶させる処理を行うだけで、ステップＳ２１２～Ｓ２２６の処理を省略する。

次に、人物追跡手段５０は、人物画像のそれぞれから特徴量を抽出して、人物情報記憶手段４０に記憶している追跡中の人物（追跡人物）の人物特徴量と比較して人物画像の人物ＩＤを特定することで、人物の対応付けを行う（Ｓ２１２）。このとき、人物追跡手段５０は、いずれの追跡人物とも対応づかない人物画像には新規の人物ＩＤを付与する。

続いて、人物追跡手段５０は、新規の人物（新規人物）を含めた追跡人物を順次注目人物に設定してステップＳ２１３～Ｓ２２６のループ処理を実行する。

追跡人物のループ処理において、まず、人物追跡手段５０は、注目人物が新規人物であるか否かを確認する（Ｓ２１４）。人物情報記憶手段４０に記録がなければ新規人物である。注目人物が新規人物であれば（ステップＳ２１４にてｙｅｓ）、処理をステップＳ２１５に進める。

ステップＳ２１５においては新規人物の人物情報とグループ情報の追記が行われる。すなわち、人物追跡手段５０は、ステップＳ２１２で付与した注目人物の人物ＩＤ、ステップＳ２１１で抽出した人物画像、ステップＳ２１２で抽出した人物特徴量を有する人物情報を人物情報記憶手段４０に追加記憶させる。また、グループ検出手段５１は注目人物の人物ＩＤとその他の追跡人物の人物ＩＤとを組み合わせた新規の人物ペアのグループ情報をグループ情報記憶手段４２に追加記憶させる。

続くステップＳ２１６においては新規人物の人物情報とグループ情報が初期化される。すなわち、グループ検出手段５１はステップＳ２１５で追記された人物情報における出現位置を空欄、静止時間を０に更新する。また、グループ検出手段５１はステップＳ２１５で追記されたグループ情報における近接時間を０、グループフラグを０に更新する。また、姿勢判定手段５２は当該グループ情報における姿勢判定フラグを０に更新する。また、別行動判定手段５３は、当該人物情報における直近移動方向を空欄に更新し、当該グループ情報における離間時間を０、別行動状態を「なし」に更新する。また、不審者判定手段５４は当該人物情報における滞在時間を０に更新し、当該グループ情報における不審度を０に更新する。

続くステップＳ２１７において、グループ検出手段５１は注目人物の現在位置を、監視領域情報記憶手段４１に記憶されている監視領域情報と比較して、注目人物の出現位置が第一進入口領域であるか第二進入口領域であるかを判定し、判定結果を人物情報記憶手段４０に記憶させる。本実施形態では、第一進入口領域であれば「入国ゲート」、第二進入口領域であれば「入退室エリア」という文字列が記憶される。

ステップＳ２１７の判定を終えると処理はステップＳ２２６に進められる。

一方、注目人物が新規人物でない場合（ステップＳ２１４にてｎｏ）、処理はステップＳ２１８に進められる。

ステップＳ２１８において人物追跡手段５０およびグループ検出手段５１は注目人物が消失（すなわち監視領域外に移動）したか否かを確認する。消失した場合（ステップＳ２１８にてｙｅｓ）、人物追跡手段５０が注目人物の人物情報を人物情報記憶手段４０から削除するとともに、グループ検出手段５１が注目人物を含む人物ペアのグループ情報をグループ情報記憶手段４２から削除して（Ｓ２２５）、処理はステップＳ２２６に進められる。

他方、注目人物が消失していない場合（ステップＳ２１８にてｎｏ）、処理はステップＳ２１９に進められる。

ステップＳ２１９において、グループ検出手段５１は、人物情報記憶手段４０に記憶されている注目人物の１時刻前の人物位置と、ステップＳ２１１で特定した注目人物の現在位置から移動距離を算出して静止判定距離Ｄ０と比較する。移動距離がＤ０以下である場合（ステップＳ２１９にてｙｅｓ）、グループ検出手段５１は人物情報記憶手段４０に記憶されている注目人物の静止時間を１時刻だけインクリメントする（Ｓ２２０）。他方、移動距離がＤ０を超えている場合（ステップＳ２１９にてｎｏ）、グループ検出手段５１は人物情報記憶手段４０に記憶されている注目人物の静止時間を０にリセットして（Ｓ２２１）処理をステップＳ２２２に進める。

続くステップＳ２２２において、不審者判定手段５４は、人物情報記憶手段４０に記憶されている注目人物の滞在時間を１時刻だけインクリメントする。

続くステップＳ２２３において、別行動判定手段５３は、人物情報記憶手段４０に記憶されている注目人物の１時刻前の人物位置と、ステップＳ２１１で特定した注目人物の現在位置から移動方向を算出して、算出した移動方向を人物情報記憶手段４０における注目人物の直近移動方向に上書き記憶させる。

続くステップＳ２２４において、人物追跡手段５０は、ステップＳ２１１で特定した注目人物の現在位置を人物情報記憶手段４０における注目人物の現在位置に上書き記憶させる。

続くステップＳ２２６において人物追跡手段５０は新規人物を含めた追跡人物の全てを注目人物として処理し終えたか否かを確認する。未処理の追跡人物がある場合（ステップＳ２２６にてｎｏ）、処理はステップＳ２１３に戻されて次の追跡人物の処理が行われる。他方、全ての追跡人物を処理し終えた場合（ステップＳ２２６にてｙｅｓ）、処理は図８のステップＳ３へと進められる。

ステップＳ３においては、人物追跡処理によって更新された人物情報およびグループ情報を基にしてグループ検出処理が行われる。

図１０を参照してステップＳ３のグループ検出処理を説明する。グループ検出処理の過程においては、画像処理部５がグループ検出手段５１および姿勢判定手段５２として動作するとともに、記憶部４が人物情報記憶手段４０およびグループ情報記憶手段４２として動作する。

グループ検出手段５１は、グループ情報記憶手段４２からグループ情報を読み出し、グループ情報に含まれている人物ペアを順次注目ペアに設定してステップＳ３１１～Ｓ３２３のループ処理を実行する。

人物ペアのループ処理において、まず、グループ検出手段５１は、注目ペアのグループフラグが０であるか否かを確認する（Ｓ３１２）。グループフラグが０であれば注目ペアが不審者のグループの可能性があるか否かが未定であるとして（ステップＳ３１２にてｙｅｓ）、処理をステップＳ３１３に進める。他方、グループフラグが１である場合（ステップＳ３１２にてｎｏ）、ステップＳ３１３～Ｓ３２２は省略されて処理はステップＳ３２３に進められる。

ステップＳ３１３において、グループ検出手段５１は、注目ペアを構成する人物それぞれの人物情報を人物情報記憶手段４０から読み出し、両者の出現位置を比較する。両者の出現した進入口が異なる場合（ステップＳ３１３にてｙｅｓ）、グループ検出手段５１は、不審者のグループの可能性があるとして処理をステップＳ３１４に進める。他方、出現した進入口が同一である場合（ステップＳ３１３にてｎｏ）、ステップＳ３１４～Ｓ３２２は省略されて処理はステップＳ３２３に進められる。

ステップＳ３１４においてグループ検出手段５１は注目ペアを構成する人物それぞれの静止時間を静止判定時間Ｔ３と比較する。両者の静止時間が共にＴ３を超えている場合（ステップＳ３１４にてｙｅｓ）、グループ検出手段５１は、不審者のグループの可能性があるとして処理をステップＳ３１５に進める。他方、静止時間の一方がＴ３以下であった場合（ステップＳ３１４にてｎｏ）、ステップＳ３１５～Ｓ３２２は省略されて処理はステップＳ３２３に進められる。

ステップＳ３１５において、グループ検出手段５１は、注目ペアを構成する人物の現在位置から人物間距離を算出して人物間距離を近接判定距離Ｄ１と比較する。人物間距離がＤ１以下である場合（ステップＳ３１５にてｙｅｓ）、グループ検出手段５１はグループ情報記憶手段４２に記憶されている注目ペアの近接時間を１時刻だけ増加させて（Ｓ３１６）、処理をステップＳ３１７に進める。他方、人物間距離がＤ１を超えている場合（ステップＳ３１５にてｎｏ）、ステップＳ３１６～Ｓ３２２は省略されて処理はステップＳ３２３に進められる。

ステップＳ３１７において、姿勢判定手段５２は、注目ペアを構成する人物それぞれの人物情報を人物情報記憶手段４０から読み出し、両者の現在位置と人物画像から注目ペアの姿勢が受け渡し姿勢であるか否かを判定する。注目ペアの姿勢が受け渡し姿勢である場合（ステップＳ３１７にてｙｅｓ）、姿勢判定手段５２は、グループ情報記憶手段４２に記憶されている注目ペアの姿勢フラグを１に更新する（Ｓ３１８）。他方、注目ペアの姿勢が受け渡し姿勢でなかった場合（ステップＳ３１７にてｎｏ）、ステップＳ３１８の処理は省略される。

ステップＳ３１９～Ｓ３２１において、グループ検出手段５１は、グループ情報記憶手段４２から注目ペアのグループ情報を改めて読み出すとともに、人物情報記憶手段４０から注目ペアを構成する人物それぞれの人物情報を改めて読み出して、これらの情報を基に注目ペアが不審者のグループの可能性があるか否かを判定する。

ステップＳ３１９においてグループ検出手段５１は注目ペアの姿勢フラグが１であるか否かを確認する。姿勢フラグが１である場合（ステップＳ３１９にてｙｅｓ）、グループ検出手段５１は、不審者のグループの可能性があるとして処理をステップＳ３２０に進める。他方、姿勢フラグが０である場合（ステップＳ３１９にてｎｏ）、ステップＳ３２０～Ｓ３２２は省略されて処理はステップＳ３２３に進められる。

ステップＳ３２０においてグループ検出手段５１は注目ペアの近接時間を群行動判定時間Ｔ１と比較する。近接時間がＴ１を超えている場合（ステップＳ３２０にてｙｅｓ）、グループ検出手段５１は、不審者のグループの可能性があるとして処理をステップＳ３２１に進める。他方、近接時間がＴ１以下である場合（ステップＳ３２０にてｎｏ）、ステップＳ３２１，Ｓ３２２は省略されて処理はステップＳ３２３に進められる。

ステップＳ３２１においてグループ検出手段５１は注目ペアの近接時間を短期接触判定時間Ｔ２と比較する。近接時間がＴ２以下である場合（ステップＳ３２１にてｙｅｓ）、グループ検出手段５１は、不審者のグループの可能性があるとして、グループ情報記憶手段４２に記憶されている注目ペアのグループフラグを１に更新する（Ｓ３２２）。他方、近接時間がＴ２を超えている場合（ステップＳ３２１にてｎｏ）、不審者のグループである可能性は無いとしてステップＳ３２２は省略されて処理はステップＳ３２３に進められる。

ステップＳ３２３においてグループ検出手段５１はグループ情報に含まれている全ての人物ペアを注目ペアとして処理し終えたか否かを確認する。未処理の人物ペアがある場合（ステップＳ３２３にてｎｏ）、処理はステップＳ３１１に戻されて次の人物ペアの処理が行われる。他方、全ての人物ペアを処理し終えた場合（ステップＳ３２３にてｙｅｓ）、処理は図８のステップＳ４へと進められる。

ステップＳ４においては、グループ検出処理によって検出されたグループの人物に別行動が発生したか否かを判定する別行動判定処理が行われる。

図１１を参照してステップＳ４の別行動判定処理を説明する。別行動判定処理の過程においては、画像処理部５が別行動判定手段５３として動作するとともに、記憶部４が人物情報記憶手段４０およびグループ情報記憶手段４２として動作する。

別行動判定手段５３は、グループ情報記憶手段４２からグループ情報を読み出し、グループ情報に含まれている人物ペアを順次注目ペアに設定してステップＳ４１１～Ｓ４２２のループ処理を実行する。

人物ペアのループ処理において、まず、別行動判定手段５３は、注目ペアのグループフラグが１であるか否かを確認する（Ｓ４１２）。グループフラグが１であれば（ステップＳ４１２にてｙｅｓ）、処理をステップＳ４１３に進める。他方、グループフラグが０であれば判定対象でないとして（ステップＳ４１２にてｎｏ）、処理をステップＳ４２２に進める。

また、別行動判定手段５３は、注目ペアの別行動状態が「なし」または「警告」であるかを確認する（Ｓ４１３）。別行動状態が「なし」または「警告」であれば判定対象であるとして（ステップＳ４１３にてｙｅｓ）、処理をステップＳ４１４に進める。他方、別行動状態が「あり」であれば判定済みであるとして（ステップＳ４１３にてｎｏ）、処理をステップＳ４２２に進める。

ステップＳ４１４において、別行動判定手段５３は、注目ペアを構成する人物それぞれの人物情報を人物情報記憶手段４０から読み出し、両者の現在位置から人物間距離を算出して人物間距離を離間判定距離Ｄ２と比較する。人物間距離がＤ２を超えている場合（ステップＳ４１４にてｙｅｓ）、別行動判定手段５３はグループ情報記憶手段４２に記憶されている注目ペアの離間時間を１時刻だけ増加させて（Ｓ４１７）、処理をステップＳ４１８に進める。他方、人物間距離がＤ２以下である場合は別行動が発生していないとして（ステップＳ４１４にてｎｏ）、別行動判定手段５３はグループ情報記憶手段４２における注目ペアの離間時間を０にリセットするとともに（Ｓ４１５）、同ペアの別行動状態に「なし」を設定して（Ｓ４１６）、処理をステップＳ４２２に進める。

ステップＳ４１８において、別行動判定手段５３は、ステップＳ４１７で更新した注目ペアの離間時間を別行動判定時間Ｔ４と比較する。離間時間がＴ４を超えている場合は別行動が発生しているとして（ステップＳ４１８にてｙｅｓ）、処理をステップＳ４１９に進める。他方、離間時間がＴ４以下である場合は別行動が発生していないとして（ステップＳ４１８にてｎｏ）、ステップＳ４１９～Ｓ４２１は省略されて処理はステップＳ４２２に進められる。

ステップＳ４１９において、別行動判定手段５３は、注目ペアを構成する人物の間で直近移動方向の差である移動方向差を算出して移動方向差を別方向判定角度ｒと比較する。移動方向差がｒを超えている場合は別行動発生の確信度の高い状態であるとして（ステップＳ４１９にてｙｅｓ）、別行動判定手段５３はグループ情報記憶手段４２における注目ペアの別行動状態に「あり」を設定して（Ｓ４２１）、処理をステップＳ４２２に進める。他方、移動方向差がｒ以下である場合は別行動発生の可能性がある状態が続いているとして（ステップＳ４１９にてｎｏ）、別行動判定手段５３はグループ情報記憶手段４２における注目ペアの別行動状態に「警告」を設定して（Ｓ４２０）、処理をステップＳ４２２に進める。

ステップＳ４２２において別行動判定手段５３はグループ情報に含まれている全ての人物ペアを注目ペアとして処理し終えたか否かを確認する。未処理の人物ペアがある場合（ステップＳ４２２にてｎｏ）、処理はステップＳ４１１に戻されて次の人物ペアの処理が行われる。他方、全ての人物ペアを処理し終えた場合（ステップＳ４２２にてｙｅｓ）、処理は図８のステップＳ５へと進められる。

ステップＳ５においては、別行動判定処理の結果に基づいて不審者を判定する不審者判定処理が行われる。

図１２を参照してステップＳ５の不審者判定処理を説明する。不審者判定処理の過程においては、画像処理部５が不審者判定手段５４として動作するとともに、記憶部４が人物情報記憶手段４０およびグループ情報記憶手段４２として動作する。

不審者判定手段５４は、グループ情報記憶手段４２からグループ情報を読み出し、グループ情報に含まれている人物ペアを順次注目ペアに設定してステップＳ５１１～Ｓ５１８のループ処理を実行する。

人物ペアのループ処理において、不審者判定手段５４は、グループ情報における注目ペアの別行動状態を確認する（Ｓ５１２，Ｓ５１５）。

注目ペアの別行動状態が「あり」である場合（ステップＳ５１２にてｙｅｓ）、不審者判定手段５４は、注目ペアのグループ情報記憶手段４２における注目ペアの不審度を２に更新する（Ｓ５１４）。

そして、別行動状態が「警告」または「なし」である場合（ステップＳ５１２にてｎｏ）、不審者判定手段５４は、処理をステップＳ５１５に進める。

他方、注目ペアを構成する人物の滞在時間がいずれもＴ５を超えている場合（ステップＳ５１３にてｎｏ）、不審者判定手段５４は、注目ペアのグループ情報記憶手段４２における注目ペアの不審度を０に更新し（Ｓ５１７）、処理をステップＳ５１８に進める。

ステップＳ５１５において不審者判定手段５４は注目ペアの別行動状態を再び確認する。注目ペアの別行動状態が「警告」である場合（ステップＳ５１５にてｙｅｓ）、不審者判定手段５４は、注目ペアのグループ情報記憶手段４２における注目ペアの不審度を１に更新し（Ｓ５１６）、処理をステップＳ５１８に進める。

他方、注目ペアの別行動状態が「なし」である場合（ステップＳ５１５にてｎｏ）、不審者判定手段５４は、注目ペアのグループ情報記憶手段４２における注目ペアの不審度を０に更新し（Ｓ５１７）、処理をステップＳ５１８に進める。

ステップＳ５１８において不審者判定手段５４はグループ情報に含まれている全ての人物ペアを注目ペアとして処理し終えたか否かを確認する。未処理の人物ペアがある場合（ステップＳ５１８にてｎｏ）、処理はステップＳ５１１に戻されて次の人物ペアの処理が行われる。他方、全ての人物ペアを処理し終えた場合（ステップＳ５１８にてｙｅｓ）、処理は図８のステップＳ６へと進められる。

ステップＳ６において、不審者判定手段５４は、改めてグループ情報記憶手段４２のグループ情報を参照し、不審度が１以上であるグループの有無を確認する。

不審度が１以上であるグループがある場合（ステップＳ６にてｙｅｓ）、不審者情報の生成および出力が行われる（Ｓ７）。

ステップＳ７において、不審者判定手段５４は、不審度が１以上である人物ペアを構成する人物の人物情報を人物情報記憶手段４０から読み出す。そして、不審者判定手段５４は、人物ごとに当該各人物が属する人物ペアの不審度を表す文字列、と当該各人物の人物画像を合成した不審者画像を生成する。さらに、不審者判定手段５４は、これら１または複数の不審者画像を監視画像に並べて合成した画像を不審者情報として生成し、通信部３に出力する。

不審者情報を入力された通信部３は不審者情報出力手段３１として動作し、不審者情報を表示部６に伝送する。表示部６は不審情報を監視員が視認可能に表示する。

他方、不審度が１以上であるグループがない場合（ステップＳ６にてｎｏ）、ステップＳ７は省略される。このとき、画像処理部５は監視画像をそのまま通信部３に出力して表示部６に伝送させ、表示部６に監視画像を表示させてもよい。

以上の処理を終えると処理は再びステップＳ１に戻される。

＜変形例＞
（１）上記実施形態においては、空港内の到着ロビーを監視領域とする例を示したが、バスの到着ロビー、駅の改札前、通路の合流地点など、人と人とが専ら異方向から到来して合流する領域に適用可能である。

（２）上記実施形態およびその変形例においては、２種類の進入口領域を設定する例を示したが、三叉路の各通路上に進入口領域を設定する等、３種類以上の進入口領域を設定してもよい。

（３）上記実施形態およびその各変形例においては、グループ検出手段５１が群行動判定時間Ｔ１を下限値とし短期接触判定時間Ｔ２を上限値とする不審行動判定時間の範囲内で近接位置関係を維持した人物のグループを検出する例を示したが、上限値を省略し、近接時間が群行動判定時間Ｔ１を超える範囲を不審行動判定時間の範囲としてもよい。

（４）上記実施形態およびその各変形例においては、グループ検出手段５１が出現位置に基づいて異方向から到来した人物のグループを検出する例を示したが、出現位置に代わる検出指標として人物の移動方向を用いることもできる。
その場合、グループ検出手段５１が、上述した別行動判定手段５３と同様にして、不審行動判定時間の範囲内で近接位置関係を維持した人物について、当該近接位置関係となる直前の移動方向差を算出し、当該移動方向差が所定の別方向判定角度を超える場合にグループを検出する。

（５）上記実施形態およびその各変形例においては、別行動判定手段５３が近接位置関係から離間位置関係となるまでの人物の移動方向差に基づいて別行動の発生を検出する例を示したが、移動方向差に代わる検出指標として監視領域からの消失を用いることもできる。
その場合、別行動判定手段５３は、グループの人物が離間位置関係を維持したまま監視領域から消失した場合に当該グループに別行動が発生したと判定する。

（６）上記実施形態およびその各変形例においては、人物追跡手段５０が人物位置履歴として出現位置と最新位置を記録し、グループ検出手段５１、別行動判定手段５３、不審者判定手段５４が逐次的に人物位置履歴を参照して各種処理を行う例を示した。さらなる変形例においては、撮影手段が撮影時刻を付加して監視画像を出力して、人物追跡手段５０が人物位置履歴として出現位置から最新位置までの人物位置と撮影時刻の組を記録し、グループ検出手段５１、別行動判定手段５３および不審者判定手段５４が適宜に人物位置履歴をさかのぼることによって各種処理を行ってもよい。この場合、例えば、直前移動方向を３時刻以上の移動方向の平均とすることができる。また、この場合、例えば、不審者判定手段５４は不審者情報に不審度が１以上の人物についての移動軌跡を加えて出力することもできる。

（７）上記実施形態およびその各変形例においては、グループ検出手段５１が、近接位置関係の維持に加えて、出現位置か移動方向差の条件、受け渡し姿勢の条件および静止時間の条件を満足する人物のグループを検出する例を示したが、グループ検出手段５１は、出現位置の条件、移動方向差の条件、受け渡し姿勢の条件および静止時間の条件を省略して検出してもよいし、出現位置の条件、移動方向差の条件、受け渡し姿勢の条件および静止時間の条件のうちのひとつの条件を用いて検出してもよいし、出現位置の条件と移動方向差の条件を同時使用しない範囲で出現位置の条件、移動方向差の条件、受け渡し姿勢の条件、静止時間の条件のうちの２以上の条件を組み合わせて検出してもよい。

１・・・画像監視装置
２・・・撮影部
３・・・通信部
３０・・・画像取得手段
３１・・・不審者情報出力手段
４・・・記憶部
４０・・・人物情報記憶手段
４１・・・監視領域情報記憶手段
４２・・・グループ情報記憶手段
５・・・画像処理部
５０・・・人物追跡手段
５１・・・グループ検出手段
５２・・・姿勢判定手段
５３・・・別行動判定手段
５４・・・不審者判定手段
６・・・表示部

Claims (9)

1. 所定の監視領域を撮影した監視画像を順次取得する画像取得手段と、
   前記監視画像に基づいて前記監視領域に出現した複数の人物を追跡する人物追跡手段と、
   前記複数の人物の中から、所定の不審行動判定時間の範囲内で人物間距離が所定の近接判定距離以下である近接位置関係を維持した人物のグループを検出するグループ検出手段と、
   前記グループの人物が前記近接判定距離よりも長く定められた離間判定距離を超える離間位置関係となった場合に当該グループに別行動が発生したと判定する別行動判定手段と、
   前記別行動の発生が判定されたグループの人物を不審者と判定する不審者判定手段と、
   を備えたことを特徴とする画像監視装置。
2. さらに、前記監視領域内の互いに異なる進入口に対応する複数の進入口領域を予め記憶している監視領域情報記憶手段、を備え、
   前記グループ検出手段は、出現した位置が異なる前記進入口領域である人物を含んだ前記グループを検出する、請求項１に記載の画像監視装置。
3. 前記グループ検出手段は、前記不審行動判定時間の範囲内で前記近接位置関係を維持した人物について、当該近接位置関係となる直前の移動方向差を算出し、当該移動方向差が所定の別方向判定角度を超える場合に前記グループを検出する、請求項１に記載の画像監視装置。
4. 前記監視画像における前記近接位置関係を維持していた人物の人物画像を、予め取得した受け渡し姿勢の画像特徴と比較して、当該人物の姿勢が前記受け渡し姿勢であるか否かを判定する姿勢判定手段、をさらに備え、
   前記グループ検出手段は、前記受け渡し姿勢が判定された人物のグループを検出する、請求項１から請求項３のいずれかひとつに記載の画像監視装置。
5. 前記グループ検出手段は、前記不審行動判定時間の範囲内で前記近接位置関係を維持した人物について、当該近接位置関係を維持していた時の移動距離を算出し、当該移動距離が所定の静止判定距離以下である場合に前記グループを検出する、請求項１から請求項４のいずれかひとつに記載の画像監視装置。
6. 前記別行動判定手段は、前記グループの人物が前記離間位置関係を継続した離間時間を計測し、前記離間時間が所定の別行動判定時間を超えた場合に当該グループに前記別行動が発生したと判定する、請求項１から請求項５のいずれかひとつに記載の画像監視装置。
7. 前記別行動判定手段は、前記グループの人物が前記離間位置関係を維持したまま前記監視領域から消失した場合に当該グループに前記別行動が発生したと判定する、請求項１から請求項６のいずれかひとつに記載の画像監視装置。
8. 前記別行動判定手段は、前記離間位置関係となったグループについて、前記近接位置関係から当該離間位置関係となるまでの人物の移動方向差を算出し、当該移動方向差が所定の別行動判定角度を超える場合に前記別行動が発生したと判定する、請求項１から請求項６のいずれかひとつに記載の画像監視装置。
9. 前記不審者判定手段は、前記人物の前記監視領域における滞在時間を計測し、前記別行動の発生が判定されたグループの人物の前記滞在時間が所定の短期滞在判定時間以下である場合に当該人物を不審者と判定する、請求項１から請求項８のいずれかひとつに記載の画像監視装置。
   

Images