JP7210163B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年、多数のネットワークカメラで構成される大規模な監視システムが実用化されている。
この種の監視システムにおいて、複数のネットワークカメラが、オフィスや店舗、さらにはショッピングモールやスタジアム、街頭、地域全体など、広い範囲に設置され、広域監視を実現することでセキュリティの向上に役立っている。各ネットワークカメラの撮像画像を解析して撮像画像から人体を検出し、検出された人体を特定人物として認識することにより、人物を検索するシステムや群集の混雑等の異常状態を検知するシステムが提案されている。

特許文献１は、施設を訪問する人物の中から要注意人物を推定し、当該施設に要注意人物が来ていることを通知する防犯システムを開示する。
具体的には、特許文献１の防犯システムは、施設の入口等の設置したカメラで撮像した人物の顔画像と、予め記憶した注意候補人物の顔画像とを照合し、両者が一致しかつ当該注意候補人物の訪問履歴が所定要件を満たす場合に要注意人物であると推定し通知する。
特許文献２は、動画像を分割した部分領域ごとに動きの有無と人物の存在の有無とを判定し、人の動きがある移動領域と人が滞留している滞留領域の数や割合から、異常混雑（蝟集）が発生していることを推定する混雑推定装置を開示する。

特開２０１６－９２３４号公報 特許第４９６６８２０号公報

ところで、街頭やスタジアム等の広域監視においては、破壊活動や暴力行為を行った人物を要注意人物として予め登録し、ネットワークカメラの撮像画像から登録された要注意人物を検索したり、不審な行動をとる不審人物を検知することが要請される。
特に近年では、複数の人物が共謀して組織的な破壊活動などを行う事案が増加してきている。このように、複数の人物が共謀して破壊活動等を行う場合は、下見や準備等を行うため、対象となる場所に時間間隔を空けて、異なる要注意人物や不審人物が現れる事象が想定され得る。この場合、ある程度の時間差をつけてあるいは同時に異なる要注意人物等が現れる場合を検知して、その事象を報知することが要請される。

しかしながら、上記の従来技術は、要注意人物と推定された人物が単独で監視領域に出現した事象を施設管理者へ通知するに過ぎず、複数の異なる要注意人物等が関連して実行する一連の行為を考慮するものではない。このため、共謀行為等、複数の人物が関連して実行する監視対象行為を適切に検知して報知することができず見逃してしまうおそれがあった。

本発明は上記課題に鑑みてなされたものであり、その目的は、ネットワークカメラを用いる監視システムにおいて、複数のオブジェクトが関連して実行される行為を適切に検知可能な画像処理装置、画像処理方法およびプログラムを提供することにある。

上記課題を解決するため、本発明に係る画像処理装置のある態様によれば、撮像手段により撮像された画像を取得する取得手段と、前記取得手段により取得された前記画像から、予め登録された人物と照合して特定の人物を検出する検出手段と、前記検出手段により、複数の異なる前記特定の人物が、所定の撮像領域内において、所定時間内の時間差で検出されたか否かを判定する判定手段と、前記判定手段により、前記所定の撮像領域内において、前記所定時間内の時間差で前記複数の異なる特定の人物が検出されたと判定された場合に、前記所定の撮像領域内において、前記所定時間内の時間差で複数の異なる前記特定の人物が検出された時間差検知に関する情報を、第１の報知情報として外部に報知し、前記判定手段により、前記特定の人物が前記所定の撮像領域外で検出された場合、又は複数の異なる前記特定の人物が前記所定時間外の時間差で検出されたと判定された場合には、前記第１の報知情報とは異なる、前記特定の人物が検出された人物検知に関する情報を、第２の報知情報として外部に報知する報知手段と、を備える画像処理装置が提供される。

本発明によれば、ネットワークカメラを用いる監視システムにおいて、複数のオブジェクトが関連して実行される行為を適切に検知することができる。

本発明の実施形態に係る画像処理システムのネットワーク構成の一例を示す図。 本実施形態に係るネットワークカメラのハードウエア構成の一例を示す図。 本実施形態に係る画像解析サーバ３の機能構成の一例を示す図。 複数のネットワークカメラの設置場所と各カメラの監視エリアの一例を示す図。 画像解析サーバ３のカメラ情報保持部３５が保持するカメラ情報テーブルの一例を示す図。 画像解析サーバ３の人物情報保持部３６が保持する人物情報テーブルの一例を示す図。 画像解析サーバ３の報知判定部３３が参照および書き出しする検出情報テーブルの一例を示す図。 本実施形態に係る画像解析サーバ３が実行する画像解析処理の処理手順の一例を示すフローチャート。 図８の報知判定処理（Ｓ５）の詳細処理手順の一例を示すフローチャート。

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

本実施形態は、撮像装置により撮像された画像を画像解析して人物を検出し、検出された人物が監視対象とすべき特定の人物である場合、所定時間内に複数の異なる特定の人物が検出されたか否かを判定する。そして、本実施形態においては、複数の異なる特定の人物が所定時間内に撮像画像から検出された場合、外部に報知すべき報知情報を生成する。
これにより、要注意人物や不審人物等の監視対象人物が複数関連して実行する行為が発生したか否かを適切に検知することができる。従って、複数の監視対象人物が関連して実行される共謀行為等の監視対象行為を適切に報知することができ、広域監視の精度向上が実現される。

本実施形態で生成される報知情報は、例えば、共謀行為等、複数の監視対象人物が関連して実行する監視対象行為が発生したことを示し、出力装置を介して外部に報知される。 この報知情報は、監視対象人物が単独で検出された場合の報知情報と異なってよい。監視員等のユーザは、これら報知情報を識別することにより、複数の監視対象人物が関連して実行する共謀行為等の行為と、監視対象人物の単独行為とを区別して認識することができる。
なお、以下、本実施形態では、撮像装置であるネットワークカメラを監視に応用する場合を例として説明するが、本実施形態はこの場合に限定されず、複数のオブジェクトが関連して実行する行為を検知するあらゆる他の画像検索用途にも適用可能である。また、以下、本実施形態では、撮像画像を解析して人体を検出し、検出された人体が監視対象とすべき特定の人物として同定された場合に報知する場合を例として説明するが本実施形態が適用可能な検知対象はこれに限定されない。本実施形態は、撮像画像内の動体および静止体を含む、あらゆるオブジェクトの画像検索用途に適用可能である。

＜本実施形態のネットワーク構成＞
図１は、本実施形態に係る画像処理システムをネットワークカメラシステムに適用した動作環境におけるネットワーク構成の一例を示す図である。
図１のネットワークカメラシステム１０は、少なくとも１つのネットワークカメラ１、画像録画サーバ２、画像解析サーバ３、およびクライアントパーソナルコンピュータ（ＰＣ）４とを備える。ネットワークカメラ１、画像録画サーバ２、画像解析サーバ３、クライアントＰＣ４は、それぞれネットワーク５を介して接続され、相互に情報の授受を行う。

ネットワーク５は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格に準拠する有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の有線ネットワークであってよい。あるいは、ネットワーク５は、無線ネットワークで構成されてもよい。この無線ネットワークは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。 さらに、ＬＴＥ／３Ｇ等の無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。なお、ネットワーク５は、各機器を相互に通信可能に接続できればよく、通信の規格、規模、構成は上記に限定されない。

ネットワークカメラ（以下、単に「カメラ」ともいう。）１は、所定の画角で被写体を撮像する、監視カメラ等の撮像装置である。このカメラ１は、撮像画像（以下、単に「画像」ともいう。）を、ネットワーク５を介して、画像録画サーバ２、画像解析サーバ３、クライアントＰＣ４へ送信することができる。なお、図１では、２つのカメラ１が図示されているが、ネットワークカメラシステム１０を構成するカメラの数は１つ以上であってよく、図示される数に限定されない。

画像録画サーバ２、画像解析サーバ３、およびクライアントＰＣ４は、例えば同様のハードウエア構成を備えるパーソナルコンピュータ等の情報処理装置で構成されてよい。 これら情報処理装置の全部または一部は、例えばネットワークカメラシステム１０を介して広域を監視する監視員等のユーザが操作可能なインタフェースを備える。
なお、図１では、画像録画サーバ２、画像解析サーバ３、およびクライアントＰＣ４と、３つの情報処理装置が図示されているが、画像処理システム１を構成する情報処理装置の数は図示される数に限定されない。図１の複数の情報処理装置の機能を１つの情報処理装置に実装してもよく、各サーバ２，３およびクライアントＰＣ４の機能をそれぞれ複数の情報処理装置に適宜分散させて実装してもよい。

画像録画サーバ２は、ネットワークカメラ１から送信される画像データを受信し、画像録画サーバ２がアクセス可能な内部または外部の記憶装置に画像データを記憶する。
画像録画サーバ２はまた、画像解析サーバ３、およびクライアントＰＣ４から送信される各種要求やコマンドを受信し、記憶装置に記憶された画像データを要求された画像解析サーバ３、クライアントＰＣ４等へ送信する。

画像解析サーバ３は、画像録画サーバ２から受信した画像の解析処理を実行する。具体的には、画像解析サーバ３は、画像録画サーバ２から受信した画像を解析して、所定の条件に合致する人物を検出する。この画像解析処理は、画像からの動体検出、動体追尾、動体領域検出、人体検出、および顔認識等の少なくとも１つを含む。本実施形態における画像解析処理の詳細は図８および図９を参照して後述する。
画像解析処理の処理結果は、所定の条件に合致する人物の検出結果の情報を含み、画像解析サーバ３がアクセス可能な内部または外部の記憶装置に記憶される。クライアントＰＣ４からの要求に応答して、画像解析サーバ３は、記憶装置に記憶された画像解析結果を適宜送信する。なお、上記ではネットワークカメラ１で撮像された画像を画像録画サーバ２が録画保存し、画像解析サーバ３が画像録画サーバ２から画像データを受信したが、これに替えて画像解析サーバ３は、ネットワークカメラ１から画像データを直接受信してもよい。

クライアントＰＣ４は、監視員等のユーザからの各種要求やコマンドを受け付けて画像解析サーバ３へ送信し、画像解析サーバ３から送信される画像解析結果を受信して取得する。クライアントＰＣ４はまた、ユーザからの各種要求やコマンドを受け付けて、画像録画サーバ２に対して画像録画の指示を送信する。なお、このクライアントＰＣ４の機能は、例えばタブレット等の可搬端末装置に実装されてよい。

クライアントＰＣ４は、表示装置（ディスプレイ）を備え、ネットワークカメラ１から送信される画像データや、画像解析サーバ３での画像解析結果等を表示装置に表示させるための表示制御機能を有する。クライアントＰＣ４はまた、画像解析サーバ３が実行する画像解析処理に関する、例えば監視対象の領域設定や各種閾値設定等のパラメータ設定操作を行うためのインタフェースおよび入力機能を有する。

＜ネットワークカメラのハードウエア構成＞
図２は、カメラ１のハードウェア構成の一例を示す図である。
図２のカメラ１は、それぞれ、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、外部メモリ１４、撮像部１５、入力部１６、通信Ｉ／Ｆ１７、およびシステムバス１８を備える。
ＣＰＵ１１は、カメラ１における動作を統括的に制御するものであり、システムバス１８を介して、各構成部（１２～１７）を制御する。
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２は、ＣＰＵ１１が各種処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、これら制御プログラム等は、外部メモリ１４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３は、ＣＰＵ１１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１１は、各種処理の実行に際してＲＯＭ１２から必要なプログラム等をＲＡＭ１３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ１４は、例えば、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ１４には、例えば、ＣＰＵ１１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。

撮像部１５は、被写体の撮像を行うレンズ、撮像素子等を備える。レンズは、撮像される被写体からの入射光を撮像素子に結像するための光学レンズであり、入射光を撮像素子に集光させる。撮像素子は、光を画像信号に変換する素子であり、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等で構成することができる。
入力部１６は、電源ボタンなどから構成され、カメラ１のユーザは、入力部１６を介して当該カメラ１に指示を与えることができる。
通信Ｉ／Ｆ１７は、ネットワーク５に接続される外部装置（例えば画像録画サーバ２、画像解析サーバ３、クライアントＰＣ４）と通信するためのインターフェースであり、例えばＬＡＮインターフェースである。
システムバス１８は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、外部メモリ１４、撮像部１５、入力部１６および通信Ｉ／Ｆ１７を通信可能に接続する。

図２に示すカメラ１の各部の機能は、ＣＰＵ１１がＲＯＭ１２もしくは外部メモリ１４に記憶されたプログラムを実行することで実現される。
なお、画像録画サーバ２、画像解析サーバ３、およびクライアントＰＣ４は、それぞれ、図２のハードウエア構成において、撮像部１５に替えて、表示装置等のハードウエアを備えればよい。表示装置は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成されてよい。また、画像録画サーバ２、画像解析サーバ３、およびクライアントＰＣ４は、入力部１６として、キーボードやマウス等のポインティングデバイスを備えてよく、ユーザが各装置２、３および４に対してそれぞれ指示を与えることができる。

＜ネットワークカメラシステム１０の機能構成＞
図３は、本実施形態に係る画像解析システムを構成する画像解析サーバ３の機能構成の一例を示すブロック図である。
図３に示す各装置の各機能モジュールのうち、ソフトウエアにより実現される機能については、各機能モジュールの機能を提供するためのプログラムがＲＯＭ等のメモリに記憶され、ＲＡＭに読み出してＣＰＵが実行することにより実現される。ハードウエアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウエアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。この場合、専用ハードウエアはＣＰＵ１１の制御に基づいて動作する。

なお、図３に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。また、図３に示した機能ブロックの全部または一部を画像解析サーバ３に替えてネットワークカメラ１に搭載してもよく、あるいは画像録画サーバ２を含む汎用の情報処理装置（ＰＣ）に搭載してもよい。
画像解析サーバ３は、画像受信部３１、人物検出部３２、報知判定部３３、送信部３４、カメラ情報保持部３５、および人物情報保持部３６を備える。
なお、本実施形態に係る画像解析サーバ３は、画像から人物を検出する他、映像から人物を検出することができる。映像から人物を検出する場合、画像解析サーバ３は、ネットワークカメラ１から映像を取得し、映像（動画像）のフレーム一枚ごとに画像に対する画像解析処理と同様の処理を実行すればよい。

画像受信部３１は、ネットワークカメラ１により撮像された画像データを画像録画サーバ２経由で受信し、受信した画像データを伸長および復号化して画像を取得する。取得される画像は、動画像であってもよく、静止画像であってもよい。画像受信部３１は、取得された画像を、順次、人物検出部３２へ送出する。

なお、画像受信部３１に画像を供給する供給元は特に限定されるものではなく、カメラ１や画像録画サーバ２以外の有線若しくは無線を介して画像を供給可能なサーバ装置や録画映像管理装置、あるいはカメラ１以外の撮像装置であってもよい。あるいは、画像受信部３１は、外部メモリ２４等の画像解析サーバ３が備えるメモリから画像を取得してもよい。
以下では、画像受信部３１が動画像を取得した場合であっても静止画像を取得した場合であっても、画像受信部３１が人物検出部３２へ１枚の画像を送出する場合を説明する。前者の動画像を取得した場合は、上記１枚の画像が動画像を構成する各フレームに相当し、後者の静止画像を取得した場合は、上記１枚の画像が静止画像に相当する。

人物検出部３２は、画像受信部３１により取得された画像から、監視対象とすべき特定の人物を検出する。人物検出部３２が検出すべき特定の人物は、例えば予め登録された要注意人物や、不審な行動を取る不審人物を含む。
本実施形態では、人物検出部３２は、顔認識を用いて監視対象とすべき特定の人物を検出する。具体的には、人物検出部３２は、画像受信部３１から供給される画像から複数の人物の顔情報を抽出し、抽出されたそれぞれの顔情報と人物情報保持部３６が保持している監視対象とすべき特定の人物の顔情報との間で特徴量を照合して、類似度を算出する。人物検出部３２は、算出された類似度を所定の閾値と比較し、類似度が所定の閾値以上である場合は、画像から検出された人物が特定の人物に類似していると判断し、要注意人物や不審人物等の監視対象とすべき特定の人物であると同定する。

人物検出部３２は、上記のように検出された監視対象とすべき特定の人物の情報を検出結果の情報である検出情報として、検出情報テーブルに追記型で記憶するとともに報知判定部３３へ供給する。この検出情報は、少なくとも検出された特定の人物を含む画像の撮像時刻、すなわち当該特定の人物の検出時刻、被写体ＩＤ、抽出された特徴量、および同定された人物名等を含むが、その具体的な内容は図７を参照して後述する。
なお、上記では被写体が人物である例を説明したが、本実施形態は他の被写体にも適用可能である。この場合、例えば、人物情報保持部３６が保持する人物情報に替えて、車両や不審物など他のオブジェクトの特徴を保持しておき、画像からこれらのオブジェクトを抽出して保持するオブジェクトと照合し類似度を求めればよい。

報知判定部３３は、検出情報テーブルを参照することにより、人物検出部３２により検出された監視対象とすべき特定の人物の検出情報を、予め設定された時間内にある検出情報エントリーと比較する。具体的には、報知判定部３３は、予め設定された時間内に、複数の異なる特定の人物が検出されたかを判定する。この検出情報の比較結果は、外部に報知すべき報知情報を含む。この報知判定処理の詳細は図８および図９を参照して後述する。
送信部３４は、報知判定部３３が出力する検出情報の比較結果を、クライアントＰＣ４ヘ送信する。
カメラ情報保持部３５は、ネットワークカメラ１の監視対象エリアの情報を含むカメラ情報を記憶装置に保持記憶する。このカメラ情報は、ネットワークカメラシステム１０が複数のネットワークカメラ１で構成される場合、複数のネットワークカメラ１をグルーピングしたカメラグループの情報を含んでよい。
人物情報保持部３６は、監視対象とすべき特定の人物の情報を人物情報として記憶装置に保持記憶する。人物情報の具体的な内容は図６を参照して後述する。

図４は、複数のネットワークカメラ１の設置場所と各カメラの監視エリアを地図上にマップした一例を示す図である。
図４の全監視領域４１内には、複数のネットワークカメラ１０１～１０７が配置されている。監視エリア４２は、カメラ１０１およびカメラ１０２により重複して監視される撮像領域である。カメラ１０３は監視エリア４３を、カメラ１０４は監視エリア４４を、カメラ１０５は監視エリア４５を、カメラ１０６は監視エリア４６を、カメラ１０７は監視エリア４７を、カメラ１０７は監視エリア４７を、それぞれ監視する。

監視エリア４２～４８のうち、図４中実線で示す監視エリア４３および４４は、特定人物を検知すべき検知対象エリアとして設定されている。この場合、カメラ１０３の検知対象エリアである監視エリア４３内では、特定の人物４３１が検知されており、この特定の人物４３１が検知されたことが外部に報知される。
一方、図４中破線で示す監視エリア４２、４５～４８は、特定人物が検知すべき検知対象エリアとして設定されていない。この場合、カメラ１０７の非検知対象エリア（検知対象エリア外）である監視エリア４３内では、特定の人物４７１が検知されているが、この特定の人物４７１が検知されたことは外部に報知されてもよいし、報知されなくてもよい。あるいは、人物検出部３２は、特定の人物が非検知対象エリアで検出された場合については、人物検出処理自体をバイパスしてもよい。

図５は、カメラ情報保持部３５が保持するカメラ情報テーブルの一例を示す。図５のカメラ情報テーブル５０の各エントリーは、カメラＩＤ５１、監視エリア５２、検知対象エリア５３、およびＩＰアドレス５４の各フィールドを含む。
カメラＩＤ５１は、それぞれのカメラ１０１～１０８を一意に識別するカメラの識別子を格納するフィールドである。カメラＩＤは複数のカメラ１０１～１０８間でユニークな値が設定される。
監視エリア５２は、それぞれのネットワークカメラが監視すべき監視エリアの情報を格納するフィールドである。図５では、カメラ１０１が監視している領域がエリアＡとなっている。カメラ１０２が監視している領域も同様にエリアＡとなっているが、これはカメラ１０１と同一または重複する領域（図４の監視エリア４２）を監視していることを示す。

検知対象エリア５３は、当該領域で特定の人物が出現した事象を検知するか否かを示すフィールドである。本実施形態では、検知対象エリア５３は、それぞれのネットワークカメラに設定された監視エリアＡ～Ｇについて、当該監視エリアで特定の人物が検知された場合に、さらに複数の異なる特定の人物が同時にまたは所定時間内の時間差で検知されたかを判定するか否かを示す。図５では、カメラ１０３および１０４の監視エリア５２（ＢおよびＣ）が検知対象エリア５３として設定されている。すなわち、カメラ１０３および１０４の監視エリアＢおよびＣを撮像した画像から、画像処理サーバ３の人物検出部３２が監視対象とすべき特定の人物を画像から検出した際には、複数の異なる特定の人物が所定時間内に検出されたか否かが判定される。さらにこの判定結果に応じて異なる報知情報が生成されてよい。
ＩＰアドレス５４は、それぞれのカメラ１０１～１０８のＩＰアドレスを格納するフィールドである。

図６は、人物情報保持部３０６が保持する人物情報テーブルの一例を示す。図６の人物情報テーブル６０の各エントリーは、名前６１、および顔画像へのパス６２の各フィールドを含む。人物情報テーブル６０には、例えば要注意人物等、監視対象とすべき特定の人物の情報を、識別子と特徴量を示す情報を対応付けることにより予め登録する。
名前６１は、監視対象とすべき特定の人物の名前や名称を格納するフィールドである。
顔画像へのパス６２は、人物情報テーブル６０に登録された監視すべき特定の人物の顔画像を格納するメモリ箇所へのパスを示すフィールドである。
なお、図６では、監視すべき特定の人物の顔画像へのパスを保持する例を示すが、これに替えて顔画像から抽出された特徴量を人物情報テーブル６０に保持してもよい。この場合、例えば、顔の各器官の位置や大きさをオブジェクト情報として保持すればよい。いずれの場合も、画像処理サーバ３の人物検出部３２は、人物情報テーブル６０から得られる特徴量と、画像受信部３１により取得された画像から検出される人物の特徴量とを照合し、両者の類似度を算出する。これにより、人物検出部３２は、画像から検出された人物が監視すべき特定の人物であるか否かを判定する。

＜画像解析サーバ３が出力する検出情報の詳細＞
図７は、画像解析サーバ３の人物検出部３２および報知判定部３３が生成および参照する検出情報テーブルの一例を示す。検出情報テーブル７０は、例えばクライアントＰＣ４からの要求に応じて適宜外部装置に送信され、表示装置等を介して外部に出力することができる。
撮像時刻７１は、人物が検出された画像の撮像時刻を示すフィールドである。
被写体ＩＤ７２は、検出された人物を被写体として一意に識別するための識別子を示すフィールドである。この被写体ＩＤ７２にはユニークな値が設定される。なお、後述する顔照合において、別の被写体ＩＤが付与された複数の人物が同一人物であると判定される場合があり得るが、検出情報テーブル７０の被写体ＩＤ７２では検出された人物は全て区別され、同一人物であるか否かは名前７８で判断される。

カメラＩＤ７３は、被写体を検出したカメラ１０１～１０８を識別するための識別子を示すフィールドである。
エリアＩＤ７４は、被写体ＩＤ７２で特定される被写体が検出された監視エリアの識別子を示すフィールドである。
特徴量７５は、被写体ＩＤ７２で特定される被写体から抽出された特徴量を示すフィールドである。この特徴量７５の値は、人物情報保持部３６が保持する人物情報テーブル６０に登録された特定の人物の特徴量と比較照合され、両者の類似度が算出される。これにより、検出された被写体が要注意人物等の監視対象とすべき特定の人物であるか否かを判定することができる。

サムネイル７６は、撮像された画像中、被写体が検出された部分を切り出したサムネイル画像を示すフィールドである。このサムネイル７６は、例えば特徴量７５に示される特徴量を抽出するために用いたり、クライアントＰＣ４要求に応じて、適宜外部装置に送信され、表示装置等を介して外部に出力されてよい。
属性７７は、被写体ＩＤ７２で特定される被写体の各種属性を保持するフィールドである。こうした被写体の属性は、例えば、画像解析から得られる（あるいは推定される）被写体の年齢、性別、帽子やマスクの有無、ひげ等の外見的特徴を含む。この属性７７に保持すべき内容は、検出された被写体の画像に対して、例えば人体検出と並行して属性検出処理を実行することで検出可能である。

名前７８は、被写体ＩＤ７２で特定される被写体の名前や名称を保持するフィールドである。この名前７８には、要注意人物等の監視対象とすべき特定の人物の名前や名称が格納される。名前７８に格納すべき名前や名称は、被写体ＩＤで特定される被写体が人物情報テーブル６０に登録された監視すべき特定の人物であるか否かの判定を行い、判定された要注意人物名を人物情報テーブル６０から取得すればよい。
報知情報７９は、出力すべき報知内容を格納するフィールドである。本実施形態において、報知情報７９の種類は、少なくとも複数であり、図７では、要注意人物を検知したことを示す「要注意人物検知」、複数の異なる要注意人物が所定時間内に検知エリア内に出現したことを報知する「時間差検知」が示されている。なお、同一の要注意人物が所定時間内に検知エリア内に出現した場合にも「時間差検知」を報知してもよい。
なお、図７に示される報知情報７９の内容は一例であり、例えば、検出された被写体が人物情報テーブル７０に登録された特定の人物であるか否かにかかわりなく、被写体の監視エリアへの出現を検知したことを報知してもよい。
あるいは、検出された被写体が人物情報テーブル７０に登録された特定の人物である場合、またはこれにかかわりなく、特定の属性が抽出された人物を検知したことを報知してもよい。このような報知情報７９を保持すれば、人物情報テーブル７０に登録されていないが不審な位置、姿勢、動き、または外観等が検出された人物を不審人物として報知することができる。

＜本実施形態の画像解析処理フロー＞
図８は、画像解析サーバ３が実行する画像解析処理手順の一例を示すフローチャートである。図８に示す処理は、ネットワークカメラ１ごとに一定間隔で起動されて実行されてよい。あるいはクライアントＰＣ４から画像解析処理起動要求を受信したことを契機に開始されてよい。ただし、図８に示す処理の開始タイミングは上記に限定されない。
画像解析サーバ３はＣＰＵ１１が必要なプログラムをＲＯＭ１２または外部メモリ１４から読み出して実行することにより、図８に示す処理を実行することができる。ただし、図３に示す各要素のうち少なくとも一部が専用のハードウエアとして動作することで図８の処理が実現されるようにしてもよい。この場合、専用のハードウエアは、ＣＰＵの制御に基づいて動作する。

Ｓ１で、画像解析サーバ３の画像受信部３１は、ネットワークカメラ１から送信される画像データを画像録画サーバ２経由で受信し、受信した画像データを伸長および復号化して画像を取得する。取得された画像は人物検出部３２に供給される。
Ｓ２で、画像解析サーバ３の人体検出部３２は、画像受信部３１から供給される画像データから人体を含むオブジェクト検出する。
Ｓ３で、Ｓ２でオブジェクトが検出されていればステップＳ４へ進み（Ｓ３：Ｙ）、一方、オブジェクトが検出されていなければステップＳ６へ進む（Ｓ３：Ｎ）。

Ｓ４で、画像解析サーバ３の人物検出部３２は、Ｓ２で検出されたオブジェクトが、人物情報６０として登録された監視対象とすべき特定のオブジェクトであるか否かを照合し、特定のオブジェクトであった場合（Ｓ４：Ｙ）、Ｓ５へ進む。一方、Ｓ２で検出されたオブジェクトが特定のオブジェクトでなかった場合（Ｓ４：Ｎ）、Ｓ６へ進む。具体的には、人物検出部３２は、Ｓ２で検出されたオブジェクトから、例えば顔情報を抽出し、それぞれの各顔情報と人物情報保持部３６で保持している人物情報６０中の顔情報とを両者の特徴量を比較することで照合する。この照合において、類似度の所定の閾値以上、登録された特定のオブジェクトと類似していると判定されたオブジェクトが、Ｓ４で、特定のオブジェクトとして検出される。ここで検出される特定のオブジェクトは例えば監視すべき要注意人物である。

Ｓ５で、画像解析サーバ３の報知判定部３３は、ステップＳ４で要注意人物と判定された特定オブジェクトに対し、報知判定処理を実行する。この報知判定処理の詳細は図９を参照して後述する。
Ｓ４の特定のオブジェクトを検出する処理およびＳ５の報知判定処理は、Ｓ１で取得された画像から検出されたすべてのオブジェクトに対して処理し終えるまで繰り返し実行される。

Ｓ６で、画像解析サーバ３の送信部３４は、Ｓ５の報知判定処理の処理結果として、Ｓ５で報知情報としてユーザに報知されるべき内容を含む検出情報（図７参照）の全部または一部を、クライアントＰＣ４等へ送信する。検出情報を受信したクライアントＰＣ４は、表示装置等を介してユーザに対し、検出情報中の報知情報を表示出力する。
Ｓ７で、画像解析サーバ３は、Ｓ１からＳ６の画像処理を継続するか否かを判定する。例えば、処理の終了指示をユーザから受け付けたか否かに応じて処理を継続するか否かを判定すればよい。画像解析サーバ３は、処理を継続すると判定すると（Ｓ７：Ｙ）、Ｓ１へ戻り、一方、図８の処理を継続しないと判定すると（Ｓ７：Ｎ）、図８の処理を終了する。
以上により図８のフローチャートの各処理が終了する。

＜本実施形態の報知判定処理の詳細フロー＞
図９は、報知判定部３３が実行する報知判定処理の詳細処理手順の一例を示すフローチャートである。
Ｓ５１で、画像解析サーバ３の報知判定部３３は、図８のＳ４で要注意人物と判定された特定のオブジェクトについて、当該特定のオブジェクト（被写体）が検知された位置が検知対象エリアとして設定された監視領域内であるか否かを判定する。報知判定部３３は、図５のカメラ情報テーブルの検知対象エリア５３の値を参照することにより、特定オブジェクトが検知された位置が検知対象エリア内であるか否かを判定することができる。 特定のオブジェクトが検知された位置が検知対象エリア内である場合（Ｓ５１：Ｙ）、Ｓ５２に進み、一方、特定のオブジェクトが検知された位置が検知対象エリア内でない場合（Ｓ５１：Ｎ）、Ｓ５４に進む。あるいは、特定のオブジェクトが検知された位置が検知対象エリア内にない場合には、報知情報は生成せずに図８のＳ６に進んでもよい。

Ｓ５２で、画像解析サーバ３の報知判定部３３は、複数の特定のオブジェクト、すなわち図８のＳ４で検出された要注意人物と、当該要注意人物と異なる他の要注意人物とが、検知対象エリア内で所定時間内に検知されていたか否かを判定する。複数の異なる特定のオブジェクトが所定時間内に検知されていた場合（Ｓ５２：Ｙ）、Ｓ５３に進み、一方、複数の異なる特定のオブジェクトが所定時間内に検知されない場合（Ｓ５２：Ｎ）、Ｓ５４に進む。

複数の異なる特定のオブジェクトが所定時間内に検知されていた場合、Ｓ５３で、報知判定部３３は、複数の異なる特定のオブジェクトが時間差でまたは同時に検知されたと判定し、「時間差検知」を示す報知情報を生成して検出情報の報知情報７９に出力する。これにより、例えば、最初に出現した特定のオブジェクトが荷物を放置した後、他の特定のオブジェクトが持ち去る等の荷物の受け渡しの不審行為を検知して外部に報知することができる。
一方、複数の異なる特定のオブジェクトが所定時間内に検知されない場合、Ｓ５４で、報知判定部３３は、特定のオブジェクトが単独で検知されたと判定し、「要注意人物検知」を示す報知情報を生成して検出情報の報知情報７９に出力する。Ｓ５１で、特定のオブジェクトが検知された位置が検知対象エリア内にない場合にも、同様に「要注意人物検知」を示す報知情報を生成してもよく、これに替えて検知対象エリア外で検知された旨を示す他の報知情報を生成してもよい。

例えば、Ｓ５２の所定時間を１時間と設定したとする。この場合、図７の被写体ＩＤ０００４の人物（特定の人物Ｂ）は検知対象エリア内（エリアＣ）で検出されており、且つ被写体ＩＤ０００１の人物（特定の人物Ａ）が１時間以内（２５分前）に検知対象エリア（エリアＢ）内で検出されている。このため、報知判定部３３は、時間差検知と判定し、「時間差検知」を示す報知情報を生成する。
同様に、被写体ＩＤ００１０の人物（特定の人物Ａ）は検知対象エリア内（エリアＢ）で検出されており、且つ被写体ＩＤ０００９の人物（特定の人物Ｄ）が１時間以内（５８分後）に検知対象エリア（エリアＣ）内で検出されている。このため、報知判定部３３は、時間差検知と判定し、「時間差検知」を示す報知情報を生成する。

一方、被写体ＩＤ０００１の人物（特定の人物Ａ）と被写体ＩＤ０００９の人物（特定の人物Ｄ）は、それぞれの検出時刻から１時間前までの間に異なる要注意人物が検出されていない。このため、報知判定部３３は、要注意人物が検出されたことを示す「要注意人物検知」を示す報知情報を生成するが「時間差検知」を示す放置情報は生成しない。
また、被写体ＩＤ０００６の人物（特定の人物Ｃ）は、その検出時刻から１時間前までの間に他の要注意人物（特定の人物ＡおよびＢ）が検出されているが、検知対象エリア外（非検知対象エリアＦ）での検知であるため、「要注意人物検知」とされるが「時間差検知」とはならない。
以上により図９のフローチャートの各処理が終了する。

＜変形例＞
なお上記では、報知判定部３３は、カメラ情報５０の検知対象エリア５３を参照して、被写体が検出された位置が特定オブジェクトを検知する検知対象エリア内であるか否かを判定したが、本実施形態はこれに限定されない。カメラ情報５０の検知対象エリア５３にさらに属性を設定し、検知対象エリアに設定された属性に応じて、報知判定処理を変更してもよい。
例えば、検知対象エリア５３の属性として、「エリア危険度」を設定可能とし、このエリア危険度が高い監視エリア内で要注意人物が検知された場合は、上記で１時間とした所定時間を１０分等へとより短く変更する。一方、エリア危険度が低い非危険監視エリア内で要注意人物が検知された場合は、所定時間を１時間より長く変更したり、あるいは所定時間内に検知される要注意人物の人数が複数人以上（例えば３人）である場合のみ、時間差検知と報知するようにしてもよい。

あるいは、ネットワークカメラ１の監視エリア内にいる警備員の位置に応じて、所定時間の値や所定時間内に検知される要注意人物の人数の閾値を変更してもよい。この場合、警備員の位置は、例えば、映像解析や警備員に携行させたビーコン等から取得することができる。例えば、警備員の位置から遠い検知対象エリア５３に対して、所定時間や所定時間内に検知される要注意人物の人数の閾値をより小さく設定すれば、警備員の位置から遠い検知対象エリア５３についてより頻繁な報知が可能となり、警備員による警備を補完できる。
また上記では、報知判定部３３は、人物情報６０として登録された要注意人物と一致する人物が複数人、所定時間内に検知された場合に時間差検知と報知したが、本実施形態はこれに限定されない。例えば、人物情報６０として登録された要注意人物と一致しない人物が複数人、所定時間内に検知された場合にも、複数の不審人物の出現として時間差検知と報知してもよい。

また、監視エリア５２ごとに報知の閾値を可変に設定してもよい。例えば、類型的に危険度や監視重要度がより高い監視エリア５２については、複数人ではなく、１人の要注意人物の検知で、警戒態勢を取るべきと報知してもよい。
さらに、人物情報６０の人物ごとに人物危険度を設定し、例えば、特に危険であると設定された人物が検知された場合には１人の検知で警戒態勢を取るべきと報知する等、人物危険度に応じて外部に報知すべき報知情報を変更してもよい。
また、報知判定部３３は、検知対象エリア５３に集結した要注意人物の人数に応じて、外部に報知すべき報知情報を変更してもよい。例えば、所定時間内に集結した人数が２人である場合は警告（アラート）レベルで報知し、３人以上が集結した場合には警戒態勢を取るべきと報知してもよい。この場合さらに、人物危険度と集結人数の組み合わせに応じて報知情報を変更してもよい。

さらに、検知対象エリア５３に集結した複数の要注意人物の位置、姿勢、撮像時刻、および動き等に応じて、外部に報知すべき報知情報を変更してもよい。例えば、複数の要注意人物が近接して同時に現れる、近接して一定時間以上現れる、すれ違う、直接接触する、視線が合う、向かい合う、荷物を受け渡す、および会話する、等の行為を捕捉して、推定される行為を報知してもよい。

以上説明したように、本実施形態によれば、撮像装置により撮像された画像を画像解析して人物を検出し、検出された人物が監視対象とすべき特定の人物である場合、所定時間内に複数の異なる特定の人物が検出されたか否かを判定する。そして、本実施形態においては、複数の異なる特定の人物が所定時間内に撮像画像から検出された場合、外部に報知すべき報知情報を生成する。
これにより、要注意人物や不審人物等の監視対象人物が複数関連して実行する行為が発生したか否かを適切に検知することができる。従って、複数の監視対象人物が関連して実行される共謀行為等の監視対象行為を適切に報知することができ、広域監視の精度向上が実現される。

＜他の実施形態＞
なお、上述した各実施形態は、その複数を組み合わせて実現することが可能である。
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）における１つ以上のプロセッサーがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、上述した各実施形態を、複数の機器、例えば、ホストコンピュータ、インタフェース機器、撮像装置、ウェブアプリケーション等から構成されるシステムに適用してもよく、１つの機器からなる装置に適用してもよい。
また、コンピュータが読みだしたプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。

１…ネットワークカメラ、２…画像録画サーバ、３…画像解析サーバ、４…クライアントＰＣ、５…ネットワーク、３１…画像受信部、３２…人物検出部、３３…報知判定部、３４…送信部、３５…カメラ情報保持部、３６…人物情報保持部

Claims (11)

1. 撮像手段により撮像された画像を取得する取得手段と、
   前記取得手段により取得された前記画像から、予め登録された人物と照合して特定の人物を検出する検出手段と、
   前記検出手段により、複数の異なる前記特定の人物が、所定の撮像領域内において、所定時間内の時間差で検出されたか否かを判定する判定手段と、
   前記判定手段により、前記所定の撮像領域内において、前記所定時間内の時間差で前記複数の異なる特定の人物が検出されたと判定された場合に、前記所定の撮像領域内において、前記所定時間内の時間差で複数の異なる前記特定の人物が検出された時間差検知に関する情報を、第１の報知情報として外部に報知し、前記判定手段により、前記特定の人物が前記所定の撮像領域外で検出された場合、又は複数の異なる前記特定の人物が前記所定時間外の時間差で検出されたと判定された場合には、前記第１の報知情報とは異なる、前記特定の人物が検出された人物検知に関する情報を、第２の報知情報として外部に報知する報知手段と、
   を備えることを特徴とする画像処理装置。
2. 前記報知手段は、前記判定手段により、前記所定時間内に前記特定の人物が単独で検出されたと判定した場合、前記第２の報知情報を報知する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記報知手段は、前記判定手段により、前記所定時間内の時間差で複数の所定の撮像領域に亘り複数の異なる前記特定の人物が検出されたと判定された場合、前記第１の報知情報を報知する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 複数の撮像手段のそれぞれについて、撮像領域と、前記撮像領域を報知の対象とするか否かと、前記撮像領域の危険度とを設定する設定手段をさらに備え、
   前記設定手段は、前記設定手段により設定された前記撮像領域の危険度に基づいて、前記所定時間を変更する、
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 複数の人物のそれぞれについて、人物の識別子と、前記人物から抽出された特徴量とを対応付けて人物情報として記憶する記憶手段をさらに備え、
   前記検出手段は、前記画像から検出された人物と、前記記憶手段に記憶された前記人物情報の人物とを照合し、前記人物情報の人物と一致する人物を前記特定の人物として検出する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記記憶手段に記憶される前記人物情報は、報知すべき人物の危険度を含み、
   前記判定手段は、前記記憶手段に記憶される前記人物情報の前記人物の危険度に基づいて、前記第１の報知情報を生成する閾値を変更する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記検出手段は、前記画像から検出された人物の特徴量と、前記記憶手段に記憶される前記人物情報の人物の特徴量との間の類似度を算出し、前記類似度が所定の閾値以上と算出された人物を、前記特定の人物として検出する、
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 複数の人物のそれぞれについて、人物の識別子と、前記人物から抽出された特徴量とを対応付けて人物情報として記憶する記憶手段をさらに備え、
   前記検出手段は、前記画像から検出された人物と、前記記憶手段に記憶された前記人物情報の人物とを照合し、前記人物情報の人物と一致しない人物を前記特定の人物として検出する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
9. 所定のユーザの位置を取得する第２の取得手段をさらに備え、
   前記判定手段は、前記第２の取得手段により取得された前記所定のユーザの位置に基づいて、前記所定時間を変更する、
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 撮像手段により撮像された画像を取得するステップと、
    取得された前記画像から、予め登録された人物と照合して特定の人物を検出するステップと、
    複数の異なる前記特定の人物が、所定の撮像領域内において、所定時間内の時間差で検出されたか否かを判定するステップと、
    前記所定の撮像領域内において、前記所定時間内の時間差で前記複数の異なる特定の人物が検出されたと判定された場合に、前記所定の撮像領域内において、前記所定時間内の時間差で複数の異なる前記特定の人物が検出された時間差検知に関する情報を、第１の報知情報として外部に報知し、前記特定の人物が前記所定の撮像領域外で検出された場合、又は複数の異なる前記特定の人物が前記所定時間外の時間差で検出されたと判定された場合には、前記第１の報知情報とは異なる、前記特定の人物が検出された人物検知に関する情報を、第２の報知情報として外部に報知するステップと、
    を含むことを特徴とする画像処理方法。
11. コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images