JP5712401B2 - 行動監視システム、行動監視プログラム、及び行動監視方法 - Google Patents

Description

本発明は、監視領域内における監視対象の行動監視システム、行動監視プログラム、及び行動監視方法に関する。

近年、パチンコホールやコンビニエンスストアなどの敷地内における犯罪行為は複雑かつ多様化してきている。そのため、敷地内に防犯カメラを設置して監視を行っているものの、実際の現場ではリアルタイムに犯行現場を押さえることは難しく、犯行後に防犯カメラによる録画映像を確認するケースが多い。しかも、多数の防犯カメラを設置することによって、どの情報が有益であるかが判断しにくくなり、スタッフによる見落としが生まれやすくなってしまう。さらに、時系列に個人を追跡することが難しく、広い敷地内では、特定の場所を行き来する怪しい動きを発見できない、などの問題が生じている。

そこで、異常な行動をしている不審者をリアルタイムで特定するための方法が種々提案されている（例えば、特許文献１参照。）。この手法によれば、挙動不審な人物をリアルタイムに特定して識別することができる。

特開２００８−２１７６０２号公報

しかしながら、上記従来の行動監視システムでは、監視対象となる人達が少ない場合にはともかく、多人数の場合にはサーバでの処理が重くなり、各人の識別や行動判定をリアルタイムで十分に行うことが困難である。
そこで、本発明は上記事情に鑑みて成されたものであり、監視対象が多数の場合であっても、監視対象の識別及び行動把握を容易に行うことができる行動監視システム、行動監視プログラム、及び行動監視方法を提供することを目的とする。

本発明は、上記課題を解決するため、以下の手段を採用する。
本発明に係る行動監視システムは、監視領域内を行動する複数の監視対象を撮影する複数の撮影機器を備えた行動監視システムであって、前記監視対象の光学像が入力される撮像部と、該撮像部の出力から前記監視対象と背景とを分離して前記監視対象の各特徴量を前記撮影機器毎に算出する特徴量算出部と、前記特徴量に基づき、前記監視対象の各移動軌跡を前記撮影機器毎に算出する移動軌跡算出部と、前記撮像部の出力から前記監視領域内における前記監視対象の所定部位の３次元位置座標を前記撮影機器毎に算出する位置座標算出部と、前記所定部位の３次元位置座標に基づき、前記所定部位の移動速度及び移動方向を算出するとともに、前記監視対象毎に前記所定部位の各動作軌跡を前記撮影機器毎に算出する動作軌跡算出部と、前記特徴量及び前記３次元位置座標が前記撮影機器間で類似する前記移動軌跡を繋げて、前記監視対象毎に統合された統合移動軌跡を生成する移動軌跡統合部と、前記特徴量及び前記３次元位置座標が前記撮影機器間で類似する前記動作軌跡に対して、前記統合移動軌跡との関連付けを行って前記監視対象毎に統合された統合動作軌跡を生成する動作軌跡統合部と、を備えている。

また、本発明に係る行動監視システムは、前記行動監視システムであって、同一時刻における前記監視対象の配置類型を前記統合移動軌跡から算出して所定の配置類型と比較する配置類型対比部と、所定時間における前記監視対象の動作類型を前記統合動作軌跡から算出して所定の動作類型と比較する動作類型対比部と、を備えていることを特徴とする。

また、本発明に係る行動監視システムは、前記行動監視システムであって、前記所定の配置類型及び前記所定の動作類型を最新の情報に更新する類型更新部を備え、更新された前記所定の配置類型及び前記所定の動作類型が、複数の監視領域間で共有されることを特徴とする。

また、本発明に係る行動監視システムは、前記行動監視システムであって、前記撮影機器が、ステレオカメラを備えていることを特徴とする。

また、本発明に係る行動監視システムは、前記行動監視システムであって、前記特徴量算出部が、前記撮像部から出力された画像信号のウォルシュ変換されたスペクトルに基づき前記特徴量を算出していることを特徴とする。

また、本発明に係る行動監視プログラムは、コンピュータを本発明に係る行動監視システムとして機能させることを特徴とする。

また、本発明に係る行動監視方法は、監視領域内を行動する複数の監視対象を複数の撮影機器にて監視する行動監視方法であって、前記監視対象の光学像から画像信号を取得する画像信号取得工程と、前記画像信号から前記監視対象と背景とを分離して前記監視対象の各特徴量を前記撮影機器毎に算出する特徴量算出工程と、前記特徴量に基づき、前記監視対象の各移動軌跡を前記撮影機器毎に算出する移動軌跡算出工程と、前記画像信号から前記監視領域内における前記監視対象の所定部位の３次元位置座標を前記撮影機器毎に算出する位置座標算出工程と、前記所定部位の３次元位置座標に基づき、前記所定部位の移動速度及び移動方向を算出するとともに、前記監視対象毎に前記所定部位の各動作軌跡を前記撮影機器毎に算出する動作軌跡算出工程と、前記特徴量及び前記３次元位置座標が前記撮影機器間で類似する前記移動軌跡を繋げて、前記監視対象毎に統合された統合移動軌跡を生成する移動軌跡統合工程と、前記特徴量及び前記３次元位置座標が前記撮影機器間で類似する前記動作軌跡に対して、統合移動軌跡との関連付けを行って前記監視対象毎に統合された統合動作軌跡を生成する動作軌跡統合工程と、を備えていることを特徴とする。

また、本発明に係る行動監視方法は、前記行動監視方法であって、同一時刻における前記監視対象の配置類型を前記統合移動軌跡から算出して所定の配置類型と比較する配置類型対比工程と、所定時間における前記監視対象の動作類型を前記統合動作軌跡から算出して所定の動作類型と比較する動作類型対比工程と、を備えていることを特徴とする。

また、本発明に係る行動監視方法は、前記行動監視方法であって、前記所定の配置類型及び前記所定の動作類型を最新の情報に更新する類型更新工程を備え、更新された前記所定の配置類型及び前記所定の動作類型が、複数の監視領域間で共有されることを特徴とする。

本発明によれば、監視対象が多数であっても、監視領域内の監視対象の識別及び行動把握を容易に行うことができる。

本発明の一実施形態に係る行動監視システムを示す概要図である。 本発明の一実施形態に係る行動監視システムを示す機能ブロック図である。 本発明の一実施形態に係る行動監視方法を示すフロー図である。

本発明に係る一実施形態について、図１から図３を参照して説明する。
本実施形態に係る不審者管理システム（行動監視システム）１は、図１に示すように、複数のパチンコ台列Ｗによって仕切られたパチンコホール（監視領域）Ａに配された複数の撮影機器２と、各撮影機器２と通信可能に接続されたコンピュータ・サーバ３と、を備えている。撮影機器２は、さらにステレオカメラ４と、ステレオカメラ４と通信可能に接続されたカメラＰＣ５と、を備えている。

コンピュータ・サーバ３は、カメラＰＣ５より送信された各種情報の関連付けを行う不図示のサーバ側演算処理部と、画像信号の各種処理に必要なプログラムを格納する不図示のサーバ側プログラムメモリ部と、各種情報を格納する不図示のサーバ側データメモリ部と、外部との送受信を行う不図示のサーバ側入出力インタフェース部と、を備えている。これらは相互に通信可能に接続されている。

ステレオカメラ４は、隣接するステレオカメラ４間で少なくとも一部の視野Ｖが重なるようにそれぞれ好適な位置に配されている。

カメラＰＣ５は、ステレオカメラ４によって撮影された画像信号の演算処理や制御処理等を行う不図示のカメラ側中央処理部と、画像信号の各種処理に必要なプログラムを格納する不図示のカメラ側プログラムメモリ部と、各種情報を格納する不図示のカメラ側データメモリ部と、外部との送受信を行う不図示のカメラ側入出力インタフェース部と、を備えている。これらは相互に通信可能に接続されている。

不審者管理システム１は、行動監視プログラムの機能手段（プログラムモジュール）として、図２（ａ）に示すように、カメラ側プログラムメモリ部に格納される撮像部１０、特徴量算出部１１、移動軌跡算出部１２、位置座標算出部１３、動作軌跡算出部１４と、図２（ｂ）に示すように、サーバ側プログラムメモリ部に格納される移動軌跡統合部１５、動作軌跡統合部１６、配置類型対比部１７、動作類型対比部１８、類型更新部１９と、を備えている。これらの機能手段は、カメラ側中央処理部やカメラ側プログラムメモリ部によって実現されるカメラ側制御部２０、及び、サーバ側演算処理部やサーバ側プログラムメモリ部によって実現されるサーバ側制御部３０によってそれぞれ制御される。

撮像部１０には、ステレオカメラ４毎に撮影された監視対象Ｔを含むパチンコホールＡ内の光学像がそれぞれ入力される。

特徴量算出部１１は、撮像部１０より出力された画像信号から監視対象Ｔとパチンコ台列Ｗ等の背景とを分離して、監視対象Ｔの各特徴量をステレオカメラ４毎に算出する不図示の各種演算部をさらに備えている。ここで特徴量は、ウォルシュ変換された画像信号のスペクトルに基づき算出される。

移動軌跡算出部１２は、算出された各監視対象Ｔの特徴量に基づき、各監視対象ＴのパチンコホールＡ内での移動軌跡をステレオカメラ４毎に算出する不図示の各種演算部をさらに備えている。

位置座標算出部１３は、撮像部１０の出力からパチンコホールＡ内における各監視対象Ｔを識別するとともに、監視対象Ｔ毎の頭や手先といった所定部位の３次元位置座標をステレオカメラ４毎に算出する不図示の各種演算部をさらに備えている。

動作軌跡算出部１４は、算出された所定部位の３次元位置座標に基づき、各監視対象Ｔの所定部位の移動速度及び移動方向を算出するとともに、所定部位の各動作軌跡をステレオカメラ４毎に算出する不図示の各種演算部をさらに備えている。

移動軌跡統合部１５は、監視対象Ｔ毎に算出された特徴量及び３次元位置座標が複数のステレオカメラ４間で類似する移動軌跡を繋げて、監視対象Ｔ毎に統合された統合移動軌跡を生成する不図示の各種演算部をさらに備えている。

動作軌跡統合部１６は、監視対象Ｔ毎に算出された特徴量及び３次元位置座標が複数のステレオカメラ４間で類似する動作軌跡に対して、統合移動軌跡との関連付けを行って監視対象Ｔ毎に統合された統合動作軌跡を生成する不図示の各種演算部をさらに備えている。

配置類型対比部１７は、同一時刻における監視対象ＴのパチンコホールＡ内における配置類型を統合移動軌跡から算出して、所定の配置類型と比較するとともに、互いに合致するかどうかを判定する不図示の各種演算部をさらに備えている。

動作類型対比部１８は、所定時間における監視対象Ｔの動作類型を統合動作軌跡から算出して所定の動作類型と比較するとともに、合致するかどうかを判定する不図示の各種演算部をさらに備えている。

類型更新部１９は、所定の配置類型及び所定の動作類型を最新の情報に更新するとともに、更新された所定の配置類型Ｐ１及び所定の動作類型Ｐ２を複数の店舗間で共有する。

次に、本実施形態に係る不審者管理方法について、不審者管理システム１の作用とともに説明する。
本実施形態に係る不審者管理方法は、図３に示すように、画像信号取得工程（Ｓ０１）と、特徴量算出工程（Ｓ０２）と、移動軌跡算出工程（Ｓ０３）と、位置座標算出工程（Ｓ０４）と、動作軌跡算出工程（Ｓ０５）と、移動軌跡統合工程（Ｓ０６）と、動作軌跡統合工程（Ｓ０７）と、配置類型対比工程（Ｓ０８）と、動作類型対比工程（Ｓ０９）と、類型更新工程（Ｓ１０）と、を備えている。

画像信号取得工程（Ｓ０１）は、ステレオカメラ４毎に監視対象Ｔを撮影し、撮像部１０より画像信号を取得する。

特徴量算出工程（Ｓ０２）は、特徴量算出部１１にて処理され、撮像部１０より出力された画像信号から監視対象Ｔと背景とを分離して、監視対象Ｔの各特徴量をステレオカメラ４毎に算出する。算出された特徴量は、監視対象Ｔ毎に識別されて不図示のカメラ側データメモリ部に格納される。特徴量の算出に際しては、画像信号を前景と背景とに分離した後の前景のウォルシュ変換パラメータを用い、監視対象Ｔの特徴量の類似度から監視対象Ｔを一人一人識別する。

移動軌跡算出工程（Ｓ０３）は、移動軌跡算出部１２にて処理され、ステレオカメラ４毎に各監視対象Ｔの移動軌跡を算出し、逐次コンピュータ・サーバ３に送信する。移動軌跡の算出に際しては、例えば、高橋知子他，信学技報，ＩＥＩＣＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，ＣＡＳ２００７−１５３，ＳＩＰ２００７−２２８，ＣＳ２００７−１１８（２００８−３）に記載の手法に基づき、各ステレオカメラ４における画像フレーム間の追跡と監視対象Ｔの交差時の前後判定とを行う。算出された移動軌跡は、不図示のサーバ側データメモリ部に格納される。

位置座標算出工程（Ｓ０４）は、位置座標算出部１３にて処理され、監視対象Ｔの３次元位置座標を算出する。算出に際しては、例えば、特開２００９−０３７４３４号公報に記載の手法に基づく。すなわち、ステレオカメラ４の左右の入力画像から円柱状に分布する監視対象Ｔの特徴点をそれぞれ抽出してステレオ演算を行う。そして、監視対象Ｔのエリアを特定し、頭と手先の３次元位置座標を取得する。得られた３次元位置座標は、カメラ側データメモリ部に格納される。

動作軌跡算出工程（Ｓ０５）は、動作軌跡算出部１４にて処理される。ここでは、算出された３次元位置座標を時系列に解析し、監視対象Ｔの顔と手の移動速度や移動方向を算出する。そして、それぞれの値をメンバシップ関数に入力してメンバシップ値を獲得する。さらに、メンバシップ値の所定時間の平均値を監視対象Ｔ毎の動作軌跡として獲得し、逐次コンピュータ・サーバ３に送信する。得られた動作軌跡は、サーバ側データメモリ部に格納される。

移動軌跡統合工程（Ｓ０６）は、移動軌跡統合部１５にて処理される。ここでは、サーバ側データメモリ部に格納された移動軌跡のうち、各ステレオカメラ４で算出された監視対象Ｔ毎の特徴量と３次元位置座標とが類似した移動軌跡を繋げて、ステレオカメラ４間で共通の統合移動軌跡を作成する。その際、各店舗における従業員特有の特徴量に対して予め従業員の識別番号を付与しておき、一般客とは区別された統合移動軌跡が得られるようにしてもよい。

動作軌跡統合工程（Ｓ０７）は、動作軌跡統合部１６によって処理される。ここでは、サーバ側データメモリ部に格納された動作軌跡のうち、各ステレオカメラ４で算出された監視対象Ｔ毎の特徴量及び３次元位置座標が複数のステレオカメラ４間で類似する動作軌跡に対して、統合移動軌跡との関連付けを行ってステレオカメラ４間で共通の統合動作軌跡を作成する。

配置類型対比工程（Ｓ０８）は、配置類型対比部１７によって処理される。ここでは、算出された監視対象Ｔ毎の統合移動軌跡に対して、例えば、ある所定時刻における監視対象Ｔの密集度による配置類型や、複数の監視対象Ｔが一斉に同じ地点に集まる、又は一斉に店員に近づくなど、複数の監視対象Ｔの移動の流れを示す配置類型を作成する。そして、これらの配置類型と、予めサーバ側データメモリ部に格納された不審行動を示す配置類型とを対比して、不審な移動をしているかどうかを判定する。

動作類型対比工程（Ｓ０９）は、動作類型対比部１８によって処理される。ここでは、３次元位置座標と統合移動軌跡とから監視対象Ｔとの関連付けを行い、所定時間における監視対象Ｔの統合動作軌跡から、動作類型を算出する。そして予めサーバ側データメモリ部に格納された所定の動作類型と対比して、不審な動作を行っているかどうかを判定する。

類型更新工程（Ｓ１０）は、類型更新部１９によって処理される。ここでは、サーバ側データメモリ部に格納された所定の配置類型及び所定の動作類型を、不審行動として新しく認知された配置類型及び動作類型として格納、必要に応じて更新するとともに、新しい配置類型及び動作類型を複数のパチンコ店間で共有する。

この不審者管理システム１及び不審者管理方法によれば、監視対象Ｔの特徴量や３次元位置座標を算出することによって、パチンコホールＡ内の監視対象Ｔを識別し、複数のステレオカメラ４間にわたって移動する同一の監視対象Ｔの移動軌跡や３次元的な動作を特定することができる。また、撮影によって得られた移動軌跡に基づく配置類型や動作軌跡に基づく動作類型と、予め格納された挙動不審な配置類型や動作類型とを対比することによって、挙動不審な人物を速やかに発見・特定して、店員スタッフにその旨を連絡することができる。

また、コンピュータ・サーバ３の処理だけでなく、カメラＰＣ５による分散処理も行うので、監視対象Ｔが多数になってもサーバ処理を軽減するとともに、監視対象Ｔの行動判定性能を向上することができ、監視対象Ｔの識別及び行動把握を好適に行うことができる。

さらに、新しい挙動不審な事例データを自動的に取得するとともに、複数の店舗間で一括した行動監視を行うことができる。

また、ステレオカメラ４にて監視対象Ｔを撮影するので、３次元位置座標を好適に獲得することができる。

また、画像信号のウォルシュ変換されたスペクトルに基づき特徴量を算出するので、符号化をより好適に行うことができ、処理能力の向上とともに監視対象Ｔをより好適に識別することができる。

なお、本発明の技術範囲は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、配置類型や動作類型を表示するための表示部が店内に配され、店員スタッフが表示部にて挙動不審な人物の有無を確認できるようにしてもよい。また、パチンコホールＡ内に限らず、ステレオカメラ４を店舗の入り口にも配して入出店する人物の行動を監視させてもよいし、店舗外の駐車場にステレオカメラ４を配置して、要注意車両として予め登録させた識別番号と駐車する車の識別番号とを対比させてもよい。

また、パチンコホールＡ内の挙動不審な人物の特定だけでなく、例えば、ステレオカメラ４をコンビニエンスストア等の店舗に配して来店者を観察することによって、商品の購買を予測するマーケティング購買予測システムとしてもよい。さらに、ステレオカメラ４を街頭に配して、軽い認知症患者の徘徊を予防する街角安全システムとしてもよい。

１ 不審者管理システム
２ 撮影機器
１０ 撮像部
１１ 特徴量算出部
１２ 移動軌跡算出部
１３ 位置座標算出部
１４ 動作軌跡算出部
１５ 移動軌跡統合部
１６ 動作軌跡統合部
１７ 配置類型対比部
１８ 動作類型対比部
１９ 類型更新部

Claims (9)

1. 監視領域全体を監視し、該監視領域内を行動する１又は複数の監視対象を撮影する複数の撮影機器と、
   該撮影機器と接続され撮影機器からの情報を処理するサーバーとを備えた行動監視システムであって、
   前記撮影機器は、それぞれ、前記監視対象の光学像が入力される撮像部と、該撮像部の出力から情報を抽出するカメラ側制御部とを有し、
   前記カメラ側制御部は、
   該撮像部の出力から前記監視対象と背景とを分離して前記監視対象における特徴量を前記監視対象毎に算出する特徴量算出部と、
   前記特徴量に基づき、前記監視対象の移動軌跡を前記監視対象毎に算出する移動軌跡算出部と、
   前記撮像部の出力から前記監視領域内における前記監視対象の所定部位の３次元位置座標を前記監視対象毎に算出する位置座標算出部と、
   前記所定部位の３次元位置座標に基づき、前記所定部位の移動速度及び移動方向を算出するとともに、前記所定部位の動作軌跡を前記監視対象毎に算出する動作軌跡算出部と、を備え、
   前記サーバーは、サーバー側制御部を有し、該サーバー側制御部は、
   監視対象毎に算出された特徴量及び３次元位置座標が前記撮影機器間で類似する前記移動軌跡を繋げて、前記監視対象毎に統合された統合移動軌跡を生成する移動軌跡統合部と、
   前記移動軌跡統合部において前記特徴量及び前記３次元位置座標が類似するとして生成された一の前記監視対象における前記統合移動軌跡に対して、各撮影機器における前記動作軌跡算出部から得られた監視対象毎の特徴量及び３次元位置座標が前記撮影機器間で類似する動作軌跡との関連付けを行って前記監視対象毎に統合された統合動作軌跡を生成する動作軌跡統合部と、を備えている、
   ことを特徴とする行動監視システム。
2. 前記サーバー側制御部は、さらに
   同一時刻における前記監視対象の配置類型を前記統合移動軌跡から算出して所定の配置類型と比較し、前記監視対象が不審な移動をしているかどうかを判定する配置類型対比部と、
   所定時間における前記監視対象の動作類型を前記統合動作軌跡から算出して所定の動作類型と比較し、前記監視対象が不審な動作を行っているかどうかを判定する動作類型対比部と、
   を備えていることを特徴とする請求項１に記載の行動監視システム。
3. 前記サーバー側制御部は、さらに
   前記所定の配置類型及び前記所定の動作類型を最新の情報に更新する類型更新部を備え、
   更新された前記所定の配置類型及び前記所定の動作類型が、複数の監視領域間で共有されることを特徴とする請求項２に記載の行動監視システム。
4. 前記撮影機器が、ステレオカメラを備えていることを特徴とする請求項１から３の何れか一つに記載の行動監視システム。
5. 前記特徴量算出部が、前記撮像部から出力された画像信号のウォルシュ変換されたスペクトルに基づき前記特徴量を算出していることを特徴とする請求項１から４の何れか一つに記載の行動監視システム。
6. コンピュータを、請求項１から５の何れか一つに記載の行動監視システムとして機能させることを特徴とする行動監視プログラム。
7. 監視領域全体を監視し、該監視領域内を行動する１又は複数の監視対象を撮影する複数の撮影機器と、
   該撮影機器と接続され撮影機器からの情報を処理するサーバーとにより監視する行動監視方法であって、
   前記撮影機器は、それぞれ、撮像部と、該撮像部の出力から情報を抽出するカメラ側制御部とを有し、
   前記撮像部による前記監視対象の光学像から画像信号を取得する画像信号取得工程と、
   前記カメラ側制御部で行われる、
   前記画像信号から前記監視対象と背景とを分離して前記監視対象における特徴量を前記監視対象毎に算出する特徴量算出工程と、
   前記特徴量に基づき、前記監視対象の移動軌跡を前記監視対象毎に算出する移動軌跡算出工程と、
   前記画像信号から前記監視領域内における前記監視対象の所定部位の３次元位置座標を前記監視対象毎に算出する位置座標算出工程と、
   前記所定部位の３次元位置座標に基づき、前記所定部位の移動速度及び移動方向を算出するとともに、前記監視対象毎に前記所定部位の各動作軌跡を前記監視対象毎に算出する動作軌跡算出工程と、
   を備え、
   前記サーバーは、サーバー側制御部を有し、
   該サーバー側制御部で行われる、
   監視対象毎に算出された特徴量及び３次元位置座標が前記撮影機器間で類似する前記移動軌跡を繋げて、前記監視対象毎に統合された統合移動軌跡を生成する移動軌跡統合工程と、
   前記移動軌跡統合工程において前記特徴量及び前記３次元位置座標が前記撮影機器間で類似するとして生成された一の前記監視対象における前記統合移動軌跡に対して、各撮影機器における前記動作軌跡算出工程から得られた監視対象毎の特徴量及び３次元位置座標が前記撮影機器間で類似する動作軌跡との関連付けを行って前記監視対象毎に統合された統合動作軌跡を生成する動作軌跡統合工程と、
   を備えていることを特徴とする行動監視方法。
8. さらに、前記サーバー側制御部で行われる、
   同一時刻における前記監視対象の配置類型を前記統合移動軌跡から算出して所定の配置類型と比較し、前記監視対象が不審な移動をしているかどうかを判定する配置類型対比工程と、
   所定時間における前記監視対象の動作類型を前記統合動作軌跡から算出して所定の動作類型と比較し、前記監視対象が不審な動作を行っているかどうかを判定する動作類型対比工程と、
   を備えていることを特徴とする請求項７に記載の行動監視方法。
9. さらに、前記サーバー側制御部で行われる、
   前記所定の配置類型及び前記所定の動作類型を最新の情報に更新する類型更新工程を備え、
   更新された前記所定の配置類型及び前記所定の動作類型が、複数の監視領域間で共有されることを特徴とする請求項８に記載の行動監視方法。
   

Images