JP6664920B2 - 監視カメラシステム及び監視方法 - Google Patents

Description

この発明は、カメラを利用して所定エリアを監視する監視カメラシステム及び監視方法に関する。

従来、様々な場所で、カメラを利用して監視する監視カメラシステムが利用されている。近年の監視カメラシステムでは、盗難防止や盗難発生時の画像記録を目的としてカメラにより所定の監視エリアの動画像を保存する他、工場や店舗での誤作業防止を目的として人間の動きを認識し、誤った作業が行われた場合にはすぐに警告等の所定処理を実行することも可能となっている。例えば、特許文献１〜３には、カメラによって作業員の動きを撮像して監視し、作業内容に誤りがあればこれを報知するシステムが開示されている。例えば、米マイクロソフト社製Ｋｉｎｅｃｔ（登録商標）のセンサを利用すれば、作業員の動きを３次元的に認識して作業内容をリアルタイムに監視することができる。

監視時には、例えば、所定の監視エリアをカメラで撮像した動画像を残したい場合があるが、動画像データを保存し続けると保存データの容量が膨大になる。これを避けるため、例えば、特許文献４には、カメラで撮像した画像に変化が生じたときにのみデータを保存する方法が開示されている。

特開２００３−１６７６１３号公報 特開２０１３−１７４９８０号公報 特許５４９２３３３号公報 特開平７−１９３７８１号公報

しかしながら、上記従来技術を利用しても、監視データの容量が大きくなってしまう場合がある。例えば、作業員の作業を監視して動画像データを保存したい場合に、撮像した動画像に変化が生じたときにのみデータを保存する設定としても、作業員は作業を行っているため常に動画像が変化し、保存されるデータの容量を減らすことができない。また、保存されるデータ容量が増えれば、保存された動画像の中から見たい画像を検索する際に、検索に時間がかかるという問題がある。

本発明は、上述した従来技術による問題点を解消するためになされたもので、カメラで取得したデータを保存する際のデータ容量を抑制すると共に、保存済みデータの中から確認したいデータを容易に検索することができる監視カメラシステム及び監視方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、監視カメラシステムであって、監視エリアを撮像する監視カメラと、前記監視エリアで検出した人の動きを複数の関節を含む人型骨格の動きとして捉えて３次元座標を時系列で記録したテキスト形式の人体情報を保存すると共に、前記人体情報を対象として検索を行う監視装置とを備え、前記監視装置は、保存済みの人体情報に基づいて、３次元空間上で各関節の位置を時系列で表示して前記人型骨格を動かすことによって、前記監視エリアで検出した人の動きを再現すると共に、人がいない状態で前記監視エリアを撮像した画像上に前記人型骨格の動きをオーバーレイ表示することを特徴とする。

また、本発明は、上記発明において、前記監視装置は、前記監視エリア内に予め設定した空間領域内で人の動きを検出した場合にトリガ設定を満たすと判定して、前記監視エリアを撮像した動画像を保存することを特徴とする。

また、本発明は、上記発明において、前記監視装置は、予め設定した人の動き方を検出した場合にトリガ設定を満たすと判定して、前記監視エリアを撮像した動画像を保存することを特徴とする。

また、本発明は、上記発明において、前記監視装置は、前記監視エリア内の空間領域を指定して行うトリガ設定と、前記監視エリア内の人の動きを指定して行うトリガ設定とを切り替えて設定できることを特徴とする。

本発明によれば、監視カメラで監視エリアを撮像した静止画像や監視エリアで検出した人を撮像した静止画像等、所定タイミングで撮像した画像形式のデータを保存すると共に、監視エリアで検出した人の動きを後で再現できるように人の動きを画像形式以外のデータ形式で記録した人体情報とを保存することができる。例えば、各瞬間の人の動きをテキスト形式のデータで表して時系列で記録したものを人体情報とすれば、従来のように人の動きを動画像形式で保存する場合に比べて、保存するデータの容量を大幅に削減することができる。

また、本発明によれば、例えば、所定空間に手を入れたとか手を上げたとかいうように、人の動きが所定条件を満たしたことを判定するためのトリガ設定を事前に設定して、通常は人の動きを画像形式以外のデータ形式で記録しながら、トリガ設定を満たした場合には従来のように人の動きを撮像した動画像を保存することができる。詳細確認が必要となる動きを検出するようにトリガ設定を設定しておけば、後で、この動きを撮像した動画像を確認することができる。また、保存済みデータを確認する際には、トリガ設定を選択して、トリガ設定を満たして保存された動画像を検索することができるので、従来のように動画像を再生しながら条件を満たす動きを探す必要がなく、検索及び確認を短時間で容易に行うことができる。

また、本発明によれば、人の動きを、人型骨格を形成する関節の３次元座標の変化としてテキスト形式で記録したデータを人体情報とすることができるので、例えば、所定空間に手を入れたとか手を上げたとか所定の動きを検索してデータを確認したい場合に、テキスト形式のデータを対象として検索を行うことができる。従来のように動画像を再生しながら条件を満たす動きを探す必要がないので、検索及び確認を短時間で容易に行うことができる。

図１は、貨幣処理装置が設置された監視エリアを監視する監視カメラシステムについて説明する模式図である。 図２は、監視カメラシステムを構成する監視カメラ及び監視装置の機能構成概略を示すブロック図である。 図３は、監視カメラシステムで保存するデータ例を示す模式図である。 図４は、骨格データの例を示す図である。 図５は、監視エリア内の空間領域を指定して行うトリガ設定の画面例を示す図である。 図６は、監視エリア内の人の動きを指定して行うトリガ設定の画面例を示す図である。 図７は、監視カメラシステムでのデータの保存方法を説明する図である。 図８は、トリガ設定に基づいて、保存済みデータを確認するデータ確認画面の例を示す図である。 図９は、監視エリア内の指定領域で変化を検出したデータを検索するデータ確認画面の例を示す図である。 図１０は、監視エリア内の指定領域で人の動きを検出したデータを検索するデータ確認画面の例を示す図である。

以下に、添付図面を参照して、本発明に係る監視カメラシステム及び監視方法について詳細に説明する。監視カメラシステムは、監視対象とする所定エリア内をカメラで撮像して、得られたデータを保存する機能と、保存済みデータの中から確認したいデータを検索する機能とを有している。

まず、監視カメラシステムの概要を説明すると、監視カメラシステムは、監視エリアを撮像した静止画像や、監視エリア内に進入した人の顔等を撮像した静止画像等を保存すると共に、監視エリア内で人を検出すると、この人の動きを、複数の関節を含む人型の骨格の動きとして捉えて、監視エリアに設定した３次元空間における各関節の３次元座標を時系列で記録して人体情報として保存する。人の骨格及び人の動きを再現可能な人体情報を、各関節の３次元座標を時系列で記録したテキスト形式のデータとすることにより、人の動きを撮像した動画像を保存する場合に比べて、保存するデータの容量を減らすことができる。また、保存済みデータの中から、例えば、監視エリア内の所定の空間領域に手を入れた、手を上げた等の所定の動きや姿勢を検索したい場合には、各関節の３次元座標に基づいて、テキスト形式の人体情報を対象として検索を行うことができる。

監視カメラシステムでは、例えば、監視エリア内の所定の空間領域に手を入れた、手を上げた等の動きや姿勢を検出できるように、人の動きや姿勢が所定条件を満たしたことを判定するためのトリガ設定を事前に設定して、トリガ設定を満たした動きや姿勢を記録した所定時間分の動画像を保存することができる。また、保存済みデータの中から見たいデータを検索する際にトリガ設定を指定すれば、このトリガ設定を満たして保存された動画像を検索して確認することができる。

以下では、銀行等の金融機関で、貨幣処理装置が設置された場所を監視エリアとする場合を例に、監視カメラシステムについて具体的に説明する。

まず、図１〜図３を参照しながら監視カメラシステムの機能及び構成について説明する。図１は、貨幣処理装置１が設置された監視エリアを監視する監視カメラシステムについて説明する模式図である。図２は、監視カメラシステムを構成する監視カメラ４０及び監視装置１００の機能構成概略を示すブロック図である。図３は、監視カメラシステムで保存するデータ例を示す模式図である。

監視カメラシステムは、監視カメラ４０及び監視装置１００を含んで構成される。図１に示すように、監視カメラ４０は、貨幣処理装置１全体と、その周辺とを含む監視エリアを撮像可能な位置に設置されている。図２及び図３に示すように、監視カメラ４０は、監視装置１００とデータ通信可能に接続されている。監視装置１００の設置場所は特に限定されず、例えば、貨幣処理装置１が設置されている部屋とは別の部屋に設置される。監視カメラシステムでは、監視カメラ４０による撮像範囲内にある監視エリアに３次元空間を設定して、この３次元空間内で人の検出や動作の記録等を行う。

図１及び図３に示す貨幣処理装置１は、出納機と呼ばれる装置で、結束紙幣を処理する結束紙幣処理部及びバラ紙幣を処理するバラ紙幣処理部から成る紙幣処理装置１１と、バラ硬貨を処理するバラ硬貨処理装置１２と、包装硬貨を処理する包装硬貨処理装置１３とを有している。貨幣処理装置１では、バラ紙幣の入金及び出金、所定枚数の紙幣を結束した結束紙幣の出金、バラ硬貨の入金及び出金、所定枚数の硬貨を包装した包装硬貨の出金等を行うことができる。また、貨幣処理装置１は、バラ硬貨処理装置１２及び包装硬貨処理装置１３の上部に、現金以外の有価証券類を投入する現金外ボックス１４と、各種の情報を表示すると共に貨幣処理に関する操作を受け付けるタッチパネル式の操作表示部１５と、認証処理時にＩＤカードから認証用データを読み取るためのＩＤカードリーダ１６と、貨幣処理結果等の情報を印字したレシートを発行するためのプリンタ１７とを備えている。また、紙幣処理装置１１の上部には、物品棚３０が設けられている。物品棚３０の内部は、上下２段、左右２列に区切られて、４つの棚が形成されている。それぞれの棚は、現金を運んできたトレイ、他の処理で利用する現金、貨幣処理装置１で利用する備品等を置くために利用される。

図２に示すように、監視カメラ４０は、画像センサ４１及び深度センサ４２を有している。また、監視装置１００は、例えばコンピュータ装置から成り、各種情報の表示及び各種情報の入力を行うための操作表示部１３０と、各種データを保存するための記憶部１２０と、各部を制御して以下に説明する機能及び動作を実現する制御部１１０とを有している。

記憶部１２０は不揮発性の記憶装置から成る。記憶部１２０には、物品棚３０の中に手を入れた、手を上げた等の人の動きや姿勢を特定事象として検出するための判定条件を設定したトリガ設定１２１と、監視エリアを撮像する監視カメラ４０の出力信号から取得した画像データ１２２及び骨格データ（人体情報）１２３と、トリガ設定１２１に基づく検出結果に関する特定事象検出データ１２４とが保存されるが、各データの詳細は後述する。記憶部１２０は、この他、制御部１１０の動作に必要なプログラムやデータの保存にも利用される。

監視カメラ４０を構成する画像センサ４１は、例えばＣＣＤやＣＭＯＳ等、カラーの可視光画像を撮像するための撮像素子を含む。監視装置１００は、画像センサ４１の出力信号から、貨幣処理装置１や貨幣処理装置１の利用者等を撮像したカラーの静止画像及び動画像を取得することができる。

深度センサ４２は、所定パターンに配列した赤外線スポット光を照射する照射部と、各スポット光の反射光を受光する赤外線カメラとを含む。所定パターンに配列したスポット光を撮像対象に照射して、得られた反射光の状態から、撮像対象の位置及び奥行き（深度）を認識できるようになっている。

このように、画像センサ４１及び深度センサ４２を有する監視カメラ４０として、例えば、マイクロソフト社製のＫｉｎｅｃｔ（登録商標）を利用する。そして、監視装置１００で専用のソフトウェアプログラムを利用することにより、画像データ１２２や骨格データ１２３等のデータを記憶部１２０に保存することができる。

監視装置１００は、深度センサ４２の出力信号から、３次元空間内での貨幣処理装置各部の位置を認識する。また、監視装置１００は、深度センサ４２の出力信号を利用して、貨幣処理装置１を利用する人の関節の位置を３次元的に認識して、各関節の３次元座標を取得する。深度センサ４２を利用して得られる３次元座標は、監視エリアに設定された３次元空間内の座標を示すテキストデータである。監視装置１００は、監視エリア内で検出した人の動きを、各関節の３次元座標の時系列変化として記録するが詳細は後述する。

また、監視装置１００は、深度センサ４２を利用して認識した頭の位置を画像センサ４１で撮像した画像上で、目や口等を認識することにより、この画像が顔を撮像したものであるのか後頭部を撮像したものであるのかを認識する。これにより、監視エリア内に進入した人の顔を含む静止画像を保存できるようになっている。ただし、顔を撮像できなかった場合には、監視エリア内に進入した人を服装等の外見上の特徴に基づいて特定できるように、全身を含む後ろ姿等の静止画像を保存するようになっている。

具体的には、図３に示すように、監視装置１００の制御部１１０は、人がいない状態で貨幣処理装置１を含む監視エリアを撮像した静止画像１２２ａと、監視エリア内に進入した人を検出して撮像した静止画像１２２ｂとを、画像データ１２２として記憶部１２０に保存する。なお、監視エリアで人を検出する前に撮像した監視エリアの静止画像と、人を検出した後に人がいない状態で監視エリアを撮像した静止画像との間に変化が生じた場合には、変化が生じた後の静止画像も画像データ１２２として記憶部１２０に保存するが、これについては後述する。

また、監視装置１００では、監視カメラ４０を利用して、監視エリア内で検出した人を撮像した動画像１２２ｃを保存することもできる。制御部１１０は、記憶部１２０の一部の記憶領域をリングバッファとして利用して、一番古いデータを最新のデータで上書きしながら所定時間分の動画像を保存している。記憶部１２０に保存して残したい動画像に関する条件を、予めトリガ設定１２１として記憶部１２０に保存しておけば、制御部１１０は、監視エリア内の人の動きや姿勢等がトリガ設定１２１で設定されている条件を満たすか否かを判定する。そして、制御部１１０は、条件を満たした時点を動画像保存のトリガとして、この時点を含む前後所定時間分の動画像を、画像データ１２２として記憶部１２０に保存する。トリガ設定１２１の詳細については後述する。

制御部１１０は、監視カメラ４０を利用して、監視エリア内の人の動きを骨格の動きとして捉えて、骨格データ１２３として記憶部１２０に保存する。具体的には、例えば、図１に示す貨幣処理装置１の利用者５０を、図３右側に示すように、関節５１と、２つの関節５１を接続する接続線５２とによって形成される人型骨格として認識する。

例えば、人の頭、左右の肩、左右の肩の中央、左右の肘、左右の手首、左右の手、背骨、腰の左右、腰の中央、左右の膝、左右のかかと、左右の足の２０箇所を関節５１として、それぞれを第１関節〜第２０関節として区別する。例えば、第１関節は人の頭を示すというように、各関節５１と人体上の部位との関係が分かっているので、必要に応じて２つの関節５１を接続線５２で結ぶことにより、人型骨格を表すことができる。この人型骨格の様子から人の動きや姿勢を容易に認識することができる。

制御部１１０は、各関節５１の３次元座標を時系列で保存したテキスト形式のデータを骨格データ１２３とする。図４は、骨格データ１２３の例を示す図である。このように、骨格データ１２３には、日付及び時刻と、この日付及び時刻に検出された、各関節５１の状態及び３次元座標とが含まれている。関節５１の状態とは、関節５１の３次元座標の確からしさを示す情報である。動いている関節５１の位置を追跡できている状態が「２」、関節５１の位置を推定可能である状態が「１」、関節５１の位置が不明なときには状態が「０」とされる。例えば、監視カメラ４０で人の左手を明確に撮像できている場合には、制御部１１０は、左手を示す関節５１の状態を「２」と記録する。動きを追跡していた左手が胴体の陰に隠れて監視カメラ４０で撮像できなくなると、左腕の動き等から左手の位置を推定できる間は、左手を示す関節５１の状態を「１」と記録する。そして、監視カメラ４０で左手を撮像できなくなってから時間が経過して、左手の位置を推定できなくなると、左手を示す関節５１の状態を「０」と記録する。人型骨格を表示する際に、状態に応じて各関節５１の色を変えることによって、人型骨格が示す動きの確からしさを表すことができる。

骨格データ１２３では、各関節５１の位置を示す３次元座標が時系列で保存されるので、骨格データ１２３を利用して、ある時刻の各関節５１の位置を３次元空間上に表示して、必要に応じて接続線５２で接続することにより、図３右側に示すように人型骨格を示すことができる。また、骨格データ１２３に記録されている時系列データの通りに各関節５１の位置を移動させれば、骨格データ１２３に記録されている人の動きを、人型骨格によって再現して動画像のように表示することができる。

また、骨格データ１２３を利用して再現する人型骨格の動きを、貨幣処理装置１を含む監視エリアを撮像した静止画像１２２ａ上にオーバーレイ表示すれば（図８参照）、関節５１及び接続線５２から成る人型骨格の動きと、貨幣処理装置１との位置関係を確認することができる。

監視エリア内の人の動きを全て動画像で記録しようとすると、動画像データの保存に要する記憶部１２０の容量が大きくなるが、監視カメラシステムでは、人の動きをテキスト形式の骨格データ１２３として保存するためデータ容量を小さくすることができる。また、人の動きを人型骨格として記録すると顔や服装を記録することはできないが、画像データ１２２には、この人を特定するために顔等を撮像した静止画像が含まれているので、これを利用して、人型骨格で示す動きをした人を特定することもできる。

図４に示すように、骨格データ１２３には、トリガ発生状況の項目が含まれている。図４の例は、２行目のデータが、名称が「Ｔ１２」のトリガ設定１２１で設定された判定条件を満たしたデータであることを示している。

トリガ設定１２１とは、監視カメラ４０を利用して取得するデータに基づいて特定の事象を検出するために予め準備された判定条件である。監視装置１００の制御部１１０は、監視エリアを監視している間に、トリガ設定１２１で設定された判定条件を満たす特定事象を検出すると、図４に示すように、骨格データ１２３のトリガ発生状況の項目にトリガ設定１２１を示す情報を記録する。また、制御部１１０は、図３に示すように、トリガ設定１２１を満たした時点を含む所定時間分の動画像１２２ｃを、画像データ１２２として記憶部１２０に保存する。

さらに、制御部１１０は、トリガ設定１２１を満たした際、すなわち特定事象を検出した際に取得した複数のデータを、特定事象検出データ１２４として関連付けて管理する。具体的には、図３に示すように、特定事象を撮像した動画像１２４ｃと、この動画像１２４ｃに写り込んだ人の顔等を撮像した静止画像１２４ａと、動画像１２４ｃに写り込んだ人の動きを人型骨格の動きとして記録した骨格データ１２４ｂとを関連付けて、特定事象検出データ１２４とする。なお、特定事象検出データ１２４に含まれる静止画像１２４ａ及び動画像１２４ｃは、それぞれ画像データ１２２として記憶部１２０に保存されている静止画像１２２ａ及び動画像１２２ｃである。また、特定事象検出データ１２４に含まれる骨格データ１２４ｂは、骨格データ１２３の中から、動画像１２４ｃで記録されている動きに対応するデータを抽出したものであるが詳細は後述する。

次に、トリガ設定１２１について説明する。トリガ設定１２１に関する操作は、監視装置１００の操作表示部１３０を利用して行う。図５は、監視エリア内の空間領域を指定して行うトリガ設定１２１の画面例を示す図である。また、図６は、監視エリア内の人の動きを指定して行うトリガ設定１２１の画面例を示す図である。図５に示すように、操作表示部１３０の画面上に、領域指定によるトリガ設定１２１画面が表示されているときに、画面右上の切替ボタン２００を押すと、図６に示す動き指定によるトリガ設定１２１画面に切り替えられる。同様に、図６に示す設定画面で切替ボタン２００を押すと、図５に示す設定画面に切り替えることができる。

図５に示す設定画面では、監視エリア内を撮像した静止画像上で、３次元空間を領域指定して、この空間領域内で変化を検出したら、これをトリガとして動画像を保存するように設定する。例えば、図５に示すように、ＸＹＺ空間で、３つの点２０２ａ〜２０２ｃを指定することにより、破線で示した物品棚３０左上の棚内部の空間２０２をトリガ用の空間領域として設定する。具体的には、例えば、操作表示部１３０の画面上に表示された貨幣処理装置１の画像上で、指定したい空間２０２の手前側の面を、対角線上にある２点２０２ａ、２０２ｂを指定して示した後、空間２０２の一番奥となる位置を点２０２ｃで指定することにより空間２０２を設定する。

また、画面右側の領域設定用の枠２０３内で、Ｘ座標、Ｙ座標及びＺ座標の座標範囲を数値で入力することにより空間２０２を指定することもできる。また、画面上で３つの点２０２ａ〜２０２ｃを選択すると、枠２０３内には、各点に応じた数値が表示されるので、この数値を変更することにより空間２０２の形状を変更することも可能となっている。

こうして空間領域を設定して画面右下部にある登録ボタンを押すと、設定した空間領域が監視領域として設定され、画面右上部の枠２０４内に設定済領域として表示される。監視領域が設定されると、制御部１１０は、監視領域を示す情報をトリガ設定１２１に関する情報として記憶部１２０に保存する。

図５は、既に、物品棚３０左下の棚内部の空間２０１が、監視領域Ａ１として設定済みである場合の画面を示している。枠２０４内に表示されている設定済みの監視領域Ａ１は、貨幣処理装置１の画像上で確認可能に表示される。図５では図示の都合上、色の違いを斜線で示しているが、枠２０４内では監視領域Ａ１の名称右側に領域を示す色が示され、貨幣処理装置１の画像上で監視領域Ａ１を示す空間２０１がこの色で示される。また、空間２０１上には、監視領域の名称を示す「Ａ１」の文字が表示される。

枠２０４内で、各監視領域の左側にあるチェックボックスをチェックすると、この監視領域に関するトリガ設定１２１が有効になる。トリガ設定１２１が有効になると、監視装置１００の制御部１１０は、設定された監視領域内に人が手を入れた場合等、監視領域内に変化が生じたことを検出すると、これをトリガとして、トリガ検出時を含む数秒間の動画像を画像データ１２２として記憶部１２０に保存する。具体的には、関節５１の３次元座標が監視領域内の座標を示したときに、トリガ設定１２１を満たすと判定して動画像を保存する。

例えば、物品棚３０左上の棚内の空間２０２を監視領域Ａ２としてトリガ設定１２１を有効にすると、制御部１１０は、この棚内に手を入れて貨幣等を置く人や、棚内に置かれていた貨幣等を取り出す人がある場合に、トリガ設定１２１を満たすと判定する。そして、制御部１１０は、棚内に貨幣等を置く動きや棚内から貨幣等を取り出す動きを撮像した動画像を記憶部１２０に保存する。なお、保存する動画像の長さは設定により変更できるようになっている。

また、例えば、図５に示す貨幣処理装置１の画像上で、貨幣の収納部を監視領域としてトリガ設定１２１を有効にすれば、収納部を開いて貨幣を抜き取る人を撮像した動画像を保存することができる。同様に、入金口や出金口を監視領域としてトリガ設定１２１を有効にすれば、入金口に貨幣を入れる動作や、出金口から貨幣を取り出す動作を動画像として保存することができる。

なお、画面上の枠２０４内で、設定済みの監視領域を選択した状態で下部にある削除ボタンを押すと、監視領域に関するトリガ設定１２１を削除することができる。また、設定操作の途中で、枠２０３の下部にあるキャンセルボタンを押すと設定操作をキャンセルすることができる。また、完了ボタンを押すと設定操作を完了することができる。

図６に示す設定画面では、人の動きについて予め準備されているトリガ設定１２１の中から、有効にしたいトリガ設定１２１を選択することができる。図６に示すように、画面左側の枠２０５内には、複数種類のトリガ設定１２１が縦方向に並んで表示される。また、枠２０５内では、トリガ設定１２１の名称、このトリガ設定１２１を有効にするか否かを指定するためのチェックボックス、及びトリガ設定１２１の内容が横方向に表示される。

名称がＴ０１〜Ｔ０４のトリガ設定１２１は、所定速度より速い動きを検出したときを動画像保存のトリガとする設定である。また、Ｔ１１及びＴ１２は所定の手の動きを検出したときを動画像保存のトリガとする設定で、Ｔ２１及びＴ２２は所定の姿勢となったことを検出したときを動画像保存のトリガとする設定である。また、Ｔ３１は監視カメラ４０によって人の骨格全体の動きを追跡可能となったときを動画像保存のトリガとする設定で、Ｔ３２は骨格全体の動きを追跡できなくなったときを動画像保存のトリガとする設定である。

枠２０５内でトリガ設定１２１を選択した際に、選択したトリガ設定１２１に関する人型骨格があれば、これが画面右側の枠２０６内に表示される。また、トリガ設定１２１に関して変更可能な設定内容があれば、これが画面下部の枠２０７内に表示される。例えば、図６に示すように、枠２０５内でＴ１２のトリガ設定１２１を選択すると、枠２０６内には、このトリガ設定１２１が示す状態、すなわち左手を上げた状態とは、どのような状態であるのかを示す人型骨格が表示される。また、枠２０７内には、このトリガ設定１２１が、左手を頭の位置より高く上げる動きを検出する設定であることが示される。枠２０７内で、下線が付された部分は設定変更可能であることを示している。例えば、下線が付された「頭」の部分を「肩」に変更して下部にある登録ボタンを押すことにより、Ｔ１２のトリガ設定１２１を、左手を肩の位置より高く上げる動きを検出する設定に変更することができる。なお、図１に示すように監視エリア内の人を背中側から撮像する監視カメラシステムに合わせて、図６に示す枠２０６内には、背中側から見た人型骨格が示されているが、枠２０６内に、前から見た人型骨格を示すか背中側から見た人型骨格を示すかは選択可能となっている。また、人型骨格では、いずれの方向から見た図であるかが分かり難いため、図６に示すように、枠２０６内には、人型骨格の左右を示す情報が表示されるようになっている。

同様に、例えば、枠２０５内で速度に関するトリガ設定１２１を選択すると、設定速度がどれくらいの速度であるかが分かるように、枠２０６内には、設定速度で動く骨格の例が動画像で表示され、枠２０７内には設定速度を示す数値が表示される。枠２０６内に表示される動画像を参考にしながら枠２０７内で設定速度を変更して、登録ボタンを押すことにより、トリガ設定１２１の設定速度を変更することができる。

枠２０５内で、トリガ設定１２１を選択してチェックボックスをチェックすると、トリガ設定１２１が有効になる。監視装置１００の制御部１１０は、有効にされたトリガ設定１２１に基づいて、監視エリア内で検出した人の動きを監視する。そして、所定の動きをした場合や、所定の姿勢になった場合等、トリガ設定１２１を満たしたことを検出すると、これをトリガとして、トリガ検出時を含む所定時間分の動画像を画像データ１２２として記憶部１２０に保存する。保存する動画像の長さは設定により変更できるようになっている。また、設定操作の途中で、枠２０７の下部にあるキャンセルボタンを押すと設定操作をキャンセル可能であり、完了ボタンを押すと設定操作を完了することができる。

なお、図６では、予め準備されているトリガ設定１２１を利用する態様を説明したが、監視装置１００では、新たな設定を追加することも可能となっている。具体的には、例えば、監視装置１００の操作表示部１３０を操作して、図６に示す枠２０７内の設定を変更して新たなトリガ設定１２１として追加登録することもできるし、各関節５１の位置関係を３次元座標で指定した新たなトリガ設定１２１を作成して追加登録することも可能となっている。

次に、図６に示すようにＴ１２のトリガ設定１２１を有効にしている場合を例に、監視カメラシステムでデータを保存する方法について具体的に説明する。図７は、監視カメラシステムでのデータの保存方法を説明する図である。

監視カメラ４０は、監視エリア内に人がいるかいないかに拘わらず、監視を行っている間、監視エリアを撮像して得られた信号を監視装置１００へ出力し続けている。一方、図７に示すように、人の動きを記録する骨格データ１２３は、監視エリアで人を検出している間だけ記録されるデータである。監視装置１００では、制御部１１０が、監視カメラ４０から出力される画像４５の監視を続け、画像４５の変化に基づいて、監視エリア内に進入した人を検出する。

制御部１１０は、監視カメラ４０から出力された時刻ｔ１の画像で、監視エリア内に進入した人を検出すると、検出前の時刻ｔ０に監視エリアを撮像した静止画像である背景画像１２２ｄを画像データ１２２として記憶部１２０に保存する。

また、時刻ｔ１で監視エリア内に進入して貨幣処理装置１を利用した人が貨幣処理を終えて監視エリアから退出し、時刻ｔ４に監視エリア内で人を検出できなくなると、制御部１１０は、人がいなくなった監視エリア内の背景画像１２２ｆを取得する。そして、制御部１１０は、骨格データ１２３を保存する前、すなわち監視エリア内に進入した人を検出する前に、人がいない監視エリアを撮像した背景画像１２２ｄと、骨格データ１２３の保存完了時以降、すなわち監視エリアから人が退出した後に、人がいない監視エリアを撮像した背景画像１２２ｆとを比較する。２つの静止画像が同一で、監視エリアに変化がない場合には、制御部１１０は、時刻ｔ４の背景画像１２２ｆを破棄する。一方、時刻ｔ４の背景画像１２２ｆが時刻ｔ０の背景画像１２２ｄと異なっている場合、すなわち監視エリア内の変化を検出した場合には、制御部１１０は、背景画像１２２ｄに加えて、背景画像１２２ｆを画像データ１２２として記憶部１２０に保存する。

例えば、貨幣処理装置１の利用者が、物品棚３０の左上の棚に結束紙幣６０を置いて貨幣処理を行った後、棚に置いた結束紙幣６０を忘れてそのまま立ち去った場合には、図７に示すように、時刻ｔ４の背景画像１２２ｆには、時刻ｔ０の背景画像１２２ｄにはない結束紙幣６０が写り込む。制御部１１０は、２つの背景画像１２２ｄ、１２２ｆの比較から、背景画像１２２ｆに結束紙幣６０が写っていることを認識すると、両方の背景画像１２２ｄ、１２２ｆを記憶部１２０に保存する。

時刻ｔ１に、監視エリア内に人が進入したことを検出した制御部１１０は、検出した人の骨格を認識して、骨格を形成する各関節５１の３次元座標を、テキスト形式の骨格データ１２３として保存する処理を開始する。制御部１１０は、人の動きに伴う各関節５１の移動を追跡しながら、所定のサンプリング間隔（例えば１／３０秒）で、各関節５１の３次元座標を時系列で保存する。このとき、骨格データ１２３には、図４に示すように、各関節５１の追跡状態に関する情報も記録される。

各関節５１の３次元座標の記録は、監視中の人が監視エリアから退出して、全ての関節５１を検出できなくなる時刻ｔ４まで継続して行われる。この結果、図７に示すように、時刻ｔ１〜ｔ４の間、各関節５１の３次元座標を時系列で記録したテキスト形式の骨格データ１２３が記憶部１２０に保存されることになる。なお、図７では、骨格データ１２３を模式的に人型骨格で示しているが、実際には、図４に示すように、骨格データ１２３は、各関節５１の３次元座標等の情報をテキスト形式で保存したデータである。

また、制御部１１０は、監視エリア内で検出した人の骨格を認識すると、監視カメラ４０で撮像された画像４５の中から、顔を含む人物画像１２２ｅを取得して、画像データ１２２として記憶部１２０に保存する。

また、制御部１１０は、監視エリア内で人を検出している時刻ｔ１〜ｔ４の間、監視カメラ４０から出力される画像が、トリガ設定１２１で設定されている判定条件を満たすか否かを判定する。図６に示すように、Ｔ１２のトリガ設定１２１が有効となっている場合には、制御部１１０は、左手を示す関節５１の位置が、頭を示す関節５１の位置より上にあるか否かを判定する。時刻ｔ３で、頭より左手の位置が高くなって、Ｔ１２のトリガ設定１２１を満たす画像が得られた場合には、骨格データ１２３に含まれる時刻ｔ３のデータ１２３ａの、トリガ発生状況の項目に、図４に示したように「Ｔ１２」と記録される。

また、制御部１１０は、図７に示すように、トリガ設定１２１を満たした時刻ｔ３から所定時間遡った時刻ｔ３ｓと、時刻ｔ３から所定時間経過したｔ３ｅとの間に撮像した動画像１２２ｇを画像データ１２２として記憶部１２０に保存する。動画像１２２ｇは、骨格データ１２３とは異なり、監視エリア内を撮像した通常の動画像で、監視カメラ４０から出力された画像４５から時刻ｔ３ｓ〜ｔ３ｅの間のデータを抽出して取得する。なお、時刻ｔ３〜ｔ３ｓまでの時間、及び時刻ｔ３〜ｔ３ｅまでの時間は、それぞれ設定により変更できるようになっている。例えば、時刻ｔ３を挟んで前後それぞれ数秒間の動画像１２２ｇを画像データ１２２として保存する。

制御部１１０は、トリガ設定１２１で設定された判定条件を満たした場合には、特定事象を検出したものとして、関連するデータを特定事象検出データ１２４として関連付ける。具体的には、図７に示すように、特定事象を検出した人の人物画像１２２ｅと、骨格データ１２３のうち特定事象を検出して保存した動画像１２２ｇに対応する時刻ｔ３ｓ〜ｔ３ｅの骨格データ１２３ｂと、動画像１２２ｇとが、特定事象検出データ１２４（１２４ｄ〜１２４ｆ）として関連付けられる。

なお、図７では、説明を簡単にするため、Ｔ１２の１つのトリガ設定１２１のみを有効として、時刻ｔ１〜ｔ４の間にトリガ設定１２１を満たす特定事象が１回だけ検出された例を示したが、複数のトリガ設定１２１を有効にすれば、各トリガ設定１２１を満たす度に、骨格データ１２３でのトリガ発生状況の記録、所定時間分の動画像１２２ｇの保存、関連するデータ１２４ｄ〜１２４ｆの関連付けの処理が行われる。

また、制御部１１０は、監視エリア内に人が進入する度に、図７に示すように、背景画像１２２ｄ、人物画像１２２ｅ及び骨格データ１２３を記憶部１２０に保存して、監視エリア内に変化があれば変化が記録されている背景画像１２２ｆを保存し、特定事象を検出したら動画像１２２ｇを保存して関連するデータを関連付ける処理を繰り返す。

そして、制御部１１０は、一人の人の一連の動きについて記憶部１２０に保存した各データを関連付けて監視データとして管理する。例えば、図７に示すデータ（１２２ｄ〜１２２ｇ、１２３、１２４ｄ〜１２４ｆ）は、監視エリアで検出した一人の人に関する監視データとして関連付けて管理される。このようなデータの関連付けが、監視エリアで検出された各人について行われる。これにより、後日、記憶部１２０に保存されているデータを確認する際には、各人について保存された監視データを区別して処理することができる。

また、制御部１１０は、日付毎又は時刻毎に記憶部１２０内にフォルダを生成して、各人の監視データを対応するフォルダに保存して管理する。各フォルダには、フォルダ内に保存されている監視データの日時を認識できるように日付や時刻を利用したフォルダ名が付けられている。

次に、操作表示部１３０を利用して、記憶部１２０に保存済みの監視データを確認する方法について説明する。 図８は、トリガ設定１２１に基づいて、保存済みデータを確認するデータ確認画面の例を示す図である。

監視装置１００の操作表示部１３０を利用して、データ確認画面を画面上に呼び出し、画面右上部の枠４０１で、確認したいデータが保存されているフォルダを選択する。確認したいデータの日付及び時刻に基づいてフォルダを選択すると、枠４０２内に、選択したフォルダに保存されている骨格データ１２３が一覧表示される。各データの左側にはチェックボックスが表示されており、このチェックボックスをチェックしたデータが検索及び確認の処理対象となる。

画面右側の検索枠４０３では、図６に示すように予め設定されているトリガ設定１２１を、選択できるようになっている。図８に示すように、検索枠４０３でＴ１２のトリガ設定１２１を選択し、下にある検索ボタンを押すと、枠４０２内に一覧表示されている各骨格データ１２３と関連する特定事象検出データ１２４のうち、Ｔ１２のトリガ設定１２１を満たして保存されたデータが、検索結果を示す枠４０４内に一覧表示される。

具体的には、検索枠４０３でトリガ設定１２１が選択されると、制御部１１０は、記憶部１２０に保存されている複数の骨格データ１２３を順に参照する。図４に示すように、骨格データ１２３のトリガ発生状況の項目には、骨格データ１２３を保存した監視中に検出したトリガ設定１２１を示す情報が記録されている。これにより、トリガ発生状況の項目を確認すれば、選択されたトリガ設定１２１を満たして保存された動画像１２４ｅを短時間のうちに検索結果として得ることができる。

例えば、図７の例では、制御部１１０は、骨格データ１２３を参照して、トリガ発生状況の項目で「Ｔ１２」と記録されたデータ１２３ａを見つけると、このデータに関して、骨格データ１２４ｆ（１２３ｂ）と、人物画像１２４ｄ（１２２ｅ）と、動画像１２４ｅ（１２３ｇ）とが特定事象検出データ１２４として関連付けられていることを認識する。そして、制御部１１０は、図８に示すように、特定事象検出データ１２４の骨格データ１２４ｆを画面右側の枠４０４内に検索結果として表示すると共に、枠４０５内に人物画像１２４ｄを表示する。なお、検索結果を一覧表示した枠４０４内で、確認したいデータを選択すると、人物画像を表示した枠４０５内では、選択されたデータに対応する人物画像が太枠で囲われるなどして他と区別可能に表示される。

また、制御部１１０は、画面左側の枠４０６内に、監視エリアの静止画像を表示する。図７の例では、時刻ｔ１〜ｔ４の監視中に記憶部１２０に保存した背景画像１２２ｄが枠４０６内に表示される。

また、制御部１１０は、枠４０４内で選択されたデータを参照して、トリガ設定１２１を満たした際の人型骨格を、枠４０６内の静止画像上にオーバーレイ表示する。図７の例では、骨格データ１２４ｆに含まれるデータのうちトリガ発生状況の項目にＴ１２と記録されているデータ１２３ａに基づいて、枠４０６内に表示した背景画像１２２ｄの上に、人型骨格がオーバーレイ表示される。

図８に示す画面の右下にある再生ボタンを押すと、制御部１１０は、骨格データ１２４ｆに時系列で記録されている各関節５１の３次元座標に基づいて、枠４０６内の人型骨格の各関節５１を移動させる。この結果、枠４０６内では、骨格データ１２４ｆに記録されている人の動きが、人型骨格の動きによって動画像のように再現される。このとき、再生ボタンの上にある再生速度調整用のバーを操作することにより人型骨格を動かす速度を調整できるようになっている。

このように、貨幣処理装置１を含む監視エリアを撮像した静止画像上で人型骨格を動画像のように動かすことにより、監視エリア内で検出された人がどのような動きをしたのかを容易に確認することができる。また、人を骨格で示すことにより、貨幣処理装置１が胴体の陰になるようなことがないので、人の動きと貨幣処理装置１の各部位との関係が明確に表示される。

また、図７に示したように、トリガ設定１２１に基づいて保存された特定事象検出データ１２４には、骨格データ１２４ｆだけではなく、監視エリア内を撮像した動画像１２４ｅが含まれている。このように、骨格データ１２４ｆに基づく人型骨格の動きと、動画像１２４ｅの再生との両方を利用できる場合には、図８に示すように、枠４０６内の右上に画像切替ボタン４０７が表示される。この画像切替ボタン４０７を押すことにより、枠４０６内の表示を、静止画像上での人型骨格による動きの再生と、通常の動画像再生との間で切り替えられるようになっている。

監視装置１００では、監視エリア内から物体が消えた場合、監視エリア内に物体が現れた場合、監視エリア内で物体が移動した場合等に、物体がある領域又は物体があった領域を指定して、指定領域内で変化を検出したデータを検索することができる。以下、貨幣処理装置１の物品棚３０左上の棚の中に結束紙幣が置かれているのが発見され、誰がこの紙幣を置いたのかを調べる場合を例に具体的に説明する。

図９は、監視エリア内の指定領域で変化を検出したデータを検索するデータ確認画面の例を示す図である。図９（ａ）に示すように、操作表示部１３０の画面上でフォルダを指定して検索対象とするデータを一覧表示すると、一覧表示されたデータのうち最初に表示されたデータに含まれる監視エリアの背景画像が枠４０６内に表示される。画面右側の検索枠４０３で、指定領域で変化が検出されたデータを検索する検索メニューを選択する。そして、枠４０６内に表示された貨幣処理装置１の静止画像上で、結束紙幣が見つかった棚内の領域４０８を、図９（ａ）に示すように矩形で指定する。

これを受けて、制御部１１０は、指定領域４０８で変化を検出したデータを検索する。具体的には、まず、記憶部１２０に保存されている複数の骨格データ１２３を順に参照して、図７に示すように、監視エリア内への人の進入前（時刻ｔ０）に撮像した背景画像１２２ｄと、監視エリア内からの人の退出後（時刻ｔ４）に撮像した背景画像１２２ｆとが保存されているデータを検索する。そして、２つの背景画像１２２ｄ、１２２ｆが保存されている骨格データ１２３のそれぞれについて、２つの背景画像１２２ｄ、１２２ｆを比較して、指定領域４０８内の変化の有無を判定する。指定領域４０８内で画像が変化している場合には、図９（ｂ）に示すように、この骨格データ１２３を、検索結果として画面右の枠４０４内に表示する。このとき、制御部１１０は、骨格データ１２３を保存した際の監視で得られた人物画像１２２ｅを枠４０５内に表示する。

また、制御部１１０は、２つの背景画像１２２ｄ、１２２ｆのうち、変化が生じた後に得られた背景画像１２２ｆを枠４０６内に表示すると共に、この背景画像１２２ｆ上で、変化を検出した部分を、差分領域４０９として他と区別可能にハイライト表示する。具体的には、差分領域４０９を、背景画像１２２ｆに含まれない目立つ色で表示したり、枠で囲って表示したり、囲った枠を点滅表示したりするなどして、差分領域４０９の位置を示す。また、制御部１１０は、検索結果として得られた骨格データ１２３に基づいて、枠４０６内の静止画像上に、人型骨格をオーバーレイ表示する。

図７に示すように、監視エリア内に進入した人が物品棚３０の左上の棚に結束紙幣６０を置いたまま監視エリアから退出したために、図９（ａ）に示す指定領域４０８で変化が検出された場合には、図９（ｂ）に示すように、枠４０６内の静止画像上で結束紙幣が差分領域４０９としてハイライト表示されることになる。図９（ｂ）に示すように、枠４０５内には、指定領域４０８の変化を検出した際の監視で撮像した人物画像１２２ｅが表示されるので、物品棚３０に結束紙幣６０を忘れた人を特定することができる。また、図９（ｂ）に示す検索結果の表示画面で再生ボタンを押して、枠４０６内で、人型骨格の動きを骨格データ１２３に基づいて動画像のように再生すれば、人型骨格で表示された人が物品棚３０に手を入れて結束紙幣６０を置く動作を確認することもできる。

また、監視装置１００では、監視エリア内で３次元の空間領域を指定して、この空間領域内で人の動きを検出したデータを検索することもできる。図１０は、監視エリア内の指定領域で人の動きを検出したデータを検索するデータ確認画面の例を示す図である。操作表示部１３０の画面上でフォルダを指定して検索対象とするデータを一覧表示すると、一覧表示されたデータのうち最初に表示されたデータに含まれる監視エリアの背景画像が枠４０６内に表示される。図９（ａ）に示す場合と同様に、枠４０６内に表示された貨幣処理装置１の静止画像上で、結束紙幣が置かれていた棚内の領域４０８を、矩形で指定する。また、検索枠４０３では、図１０に示すように、指定領域内で人の動きを検出したデータを検索する検索メニューを選択する。

これを受けて、制御部１１０は、静止画像上で指定された領域４０８で人の動きを検出したデータを検索する。制御部１１０は、まず、指定された領域４０８を含む３次元空間を認識する。

具体的には、例えば、物品棚３０の左上の棚内が指定された場合には、監視カメラ４０の画像センサ４１で撮像した画像に表れる陰影や物品棚３０と背景との境界、深度センサ４２を利用して得られた深度情報等から、左上の棚内部の空間領域を認識する。また、例えば、図５に示すように、トリガ設定１２１で、左上の棚内を指定する監視領域Ａ２が設定されている場合には、この設定を参照して棚内の空間領域を認識することもできる。また、この他、図５の空間２０２のように、空間を規定する３点を指定して空間領域を指定するようにしてもよい。

こうして、棚内の空間領域を認識した制御部１１０は、続いて、記憶部１２０に保存されている複数の骨格データ１２３を順に参照して、それぞれの骨格データ１２３で、人型骨格を形成する関節５１の３次元座標が、指定領域４０８に基づく空間領域内にあるデータを検索する。そして、関節５１が、指定領域４０８に基づく空間領域内に入ったことが記録されている骨格データ１２３を、検索結果として画面右の枠４０４内に表示する。この検索は、テキスト形式のデータを対象として行うため、高速に行うことができる。

図７に示すように、監視エリア内に進入した人が物品棚３０の左上の棚内に手を入れて結束紙幣６０を置いた場合には、この動きを記録した骨格データ１２３で指定領域４０８に基づく空間領域に手を入れたことが検出され、この骨格データ１２３が検索結果として枠４０４内に表示される。このとき、制御部１１０は、骨格データ１２３を保存した際の監視で得られた人物画像１２２ｅを枠４０５内に表示する。また、制御部１１０は、検索結果として得られた骨格データ１２３を保存した際に得られた背景画像１２２ｄを枠４０６内に表示する。

なお、図７に示すように、骨格データ１２３を保存した際に、２つの背景画像１２２ｄ、１２２ｆが保存されている場合には、制御部１１０は、監視終了時（時刻ｔ４）に撮像した背景画像１２２ｆを枠４０６内に表示すると共に、この背景画像１２２ｆ上で、２つの背景画像１２２ｄと背景画像１２２ｆとの間で変化を検出した領域を差分領域４０９としてハイライト表示する。図７に示すように、監視エリア内に進入した人が物品棚３０の左上の棚に結束紙幣６０を置いたまま監視エリアから退出した場合には、図１０に示すように、枠４０６内の静止画像上で結束紙幣が差分領域４０９としてハイライト表示される。

また、制御部１１０は、検索結果として得られた骨格データ１２３に基づいて、指定領域４０８に基づく空間領域内で関節５１を検出した際の人型骨格を、枠４０６内の静止画像上にオーバーレイ表示する。図１０の例は、左手を示す関節５１の３次元座標が指定領域４０８に基づく空間領域内にあることが検出された場合、すなわち物品棚３０の左上の棚内に左手を入れたことが検出された場合の人型骨格を示している。

こうして検索結果が表示されると、枠４０５内には、物品棚３０の左上の棚内に左手を入れた人を撮像した人物画像１２２ｅが表示されるので、この人を特定することができる。また、図１０に示す検索結果の表示画面で再生ボタンを押して、枠４０６内で、人型骨格の動きを骨格データ１２３に基づいて動画像のように再生すれば、人型骨格で表示された人が、物品棚３０に手を入れて結束紙幣６０を置く動作を確認することができる。

なお、図５に示すように物品棚３０の左上の棚を監視領域Ａ２として監視するトリガ設定１２１を有効にしていた場合には、図８に示すように、監視領域Ａ２に係るトリガ設定１２１を選択して検索を行えばよい。トリガ設定１２１を有効にして監視を行っていた場合には、監視領域Ａ２として設定された棚内に手を入れた際の動画像等が保存されている。これにより、人型骨格の動きに加えて、結束紙幣６０を置く人が写り込んだ動画像を確認することができる。

本実施形態では、トリガの発生を検出すると所定時間分の動画像を保存する態様を示したが、本実施形態がこれに限定されるものではない。例えば、トリガの発生を検出した場合に、トリガ発生時に撮像した静止画像を保存する態様であってもよい。また、トリガの発生を検出した場合に、監視エリアへ人が進入してから、この人が監視エリアから退出するまでの間に撮像した全ての動画像を記憶部１２０に保存する態様であってもよい。

また、本実施形態では、骨格データ１２３、１２４ｆをテキスト形式で保存することによりデータ容量を抑制するとしたが、データ形式が、コンピュータ装置のテキストエディタ等でそのまま読めるテキスト形式に限定されるものではなく、動画像を保存する場合に比べてデータ容量を抑制することができれば、バイナリ形式等、テキストに所定の符号化を施したデータ形式であってもよい。

また、本実施形態では、データ容量を抑制するために、監視エリアを撮像した静止画像や、監視エリア内に進入した人の顔や全身を撮像した静止画像を画像データ１２２として保存するとしたが、これらの静止画像を短時間の動画像とする態様であっても構わない。また、説明を簡単にするため、連続する静止画像から動画像が形成される例を説明したが、必要に応じて静止画像及び動画像を切り出して保存することができれば、監視カメラ４０から出力される画像のデータ形式は特に限定されない。

上述してきたように、本実施形態に係る監視カメラシステムによれば、監視カメラで監視エリア内を撮像しながら監視して、監視エリア内で人を検出した場合には、この人の動きを複数の関節から成る人型骨格の動きとして捉えて、各関節の３次元座標の変化を時系列でテキスト形式のデータとして保存するので、人の動きを撮像して動画像で保存する場合に比べて、保存するデータのデータ容量を削減することができる。

また、保存したデータを確認する際には、監視エリアを撮像した背景画像上に、骨格データに保存されている各関節の位置を時系列で表示することにより、監視エリア内での人の動きを人型骨格によって動画像のように再現することができる。人の動きは骨格で表示されるが、骨格データと共に保存されている静止画像により、この動きをした人の顔や容姿を特定することができる。

また、監視カメラシステムによれば、トリガ設定を利用して、所定の事象を検出した場合には、これをトリガとして動画像を保存することができる。監視エリア内の所定領域で人の動きを検出した場合や、監視中の人が所定の動きをした場合等、後に確認が必要となりそうな特定事象の発生を検出できるようにトリガ設定を設定しておけば、トリガ設定に基づいて、検出した特定事象の動画像を保存することができる。特定事象を検出した場合にのみ動画像を保存するので、動画像を保存し続ける場合に比べて、保存するデータのデータ容量を抑制することができる。

また、トリガの発生を検出したことが骨格データにテキスト形式で記録されているので、保存済みデータの中から、特定事象を記録したデータを検索して確認したい場合には、テキスト形式の骨格データを参照してトリガを検出したデータを特定することができる。また、トリガ設定に含まれていない人の動きを検索したい場合も、この動きを特定する人型骨格の動き、人型骨格の形状、各関節の３次元座標等を検索条件として指定すれば、骨格データに記録されているテキスト形式の３次元座標を対象として、検索条件を満たすデータを検索することができる。従来のように、保存されている動画像を最初から再生しながら確認する必要がないので、検索及びデータ確認を短時間で行うことができる。

以上のように、本発明に係る監視カメラシステム及び監視方法は、カメラで取得したデータの保存容量を抑制すると共に保存済みデータの検索を容易にするために有用である。

１ 貨幣処理装置
１１ 紙幣処理装置
１２ バラ硬貨処理装置
１３ 包装硬貨処理装置
１４ 現金外ボックス
１５ 操作表示部
１６ ＩＤカードリーダ
１７ プリンタ
３０ 物品棚
４０ 監視カメラ
４１ 画像センサ
４２ 深度センサ
１００ 監視装置
１１０ 制御部
１２０ 記憶部
１３０ 操作表示部

Claims (4)

1. 監視エリアを撮像する監視カメラと、
   前記監視エリアで検出した人の動きを複数の関節を含む人型骨格の動きとして捉えて３次元座標を時系列で記録したテキスト形式の人体情報を保存すると共に、前記人体情報を対象として検索を行う監視装置と
   を備え、
   前記監視装置は、保存済みの人体情報に基づいて、３次元空間上で各関節の位置を時系列で表示して前記人型骨格を動かすことによって、前記監視エリアで検出した人の動きを再現すると共に、人がいない状態で前記監視エリアを撮像した画像上に前記人型骨格の動きをオーバーレイ表示する
   ことを特徴とする監視カメラシステム。
2. 前記監視装置は、前記監視エリア内に予め設定した空間領域内で人の動きを検出した場合にトリガ設定を満たすと判定して、前記監視エリアを撮像した動画像を保存することを特徴とする請求項１に記載の監視カメラシステム。
3. 前記監視装置は、予め設定した人の動き方を検出した場合にトリガ設定を満たすと判定して、前記監視エリアを撮像した動画像を保存することを特徴とする請求項１又は２に記載の監視カメラシステム。
4. 前記監視装置は、前記監視エリア内の空間領域を指定して行うトリガ設定と、前記監視エリア内の人の動きを指定して行うトリガ設定とを切り替えて設定できる
   ことを特徴とする請求項２又は３に記載の監視カメラシステム。

Images