JP6091079B2 - 制御装置、制御方法及びプログラム - Google Patents

Description

本発明は、制御装置、制御方法及びプログラムに関するものである。

従来、映像監視システムにおいて動体を検知して録画を行う際、画像認識後に検知イベントを発生させ録画を開始するため、動体が画角内に侵入した時点の画像は録画されない。そのため、動体が画角内に侵入した時点の画像を録画するためには、イベント発生前の画像を記憶媒体に蓄積しておく必要があった。

イベント発生前の画像を蓄積しておくために、例えば、特許文献１では、イベント発生前の映像を一時蓄積データベースに蓄積しておく。そして、蓄積しておいた映像とイベント発生後のライブ映像とを連続したストリームにして監視端末に配信する技術が開示されている。

特開２００７−２５１６４６号公報

しかしながら、前述の特許文献１に開示された従来技術では、録画を行うイベント発生前の映像の長さが不明であるため、イベント発生前の動体検知開始時の映像が録画されているかどうかが不明である問題点があった。
本発明は前述の問題点に鑑み、イベント前の画像を録画する時間の設定をせずに、イベント発生前の動体検知開始時の映像を録画できるようにすることを目的とする。

本発明の制御装置は、カメラによって撮像された映像を解析して、前記映像に含まれる物体が所定の状態となってから所定の経過時間が経つと、イベントを発生させるイベント発生手段と、前記イベント発生手段によってイベントが発生されると、蓄積手段に前記カメラによって撮像された映像を蓄積させる制御手段とを有し、前記制御手段は、前記イベント発生手段によって発生したイベントに対して設定された前記経過時間に応じて、前記カメラによって撮像され一時的に記憶された映像のうち、発生したイベントに対して設定された前記経過時間に対応する映像を蓄積するよう、前記蓄積手段への映像の蓄積を制御することを特徴とする。

本発明によれば、イベント発生前の映像を録画する時間の設定が不要になり操作の簡略化が可能になる。
また、イベント種別毎に好適な録画時間を自動で設定することができるので、監視対象の動作をもれなく録画することが可能である。

第１の実施形態を示し、映像監視システムの構成例を示す図である。 ネットワークカメラの構成例を示すブロック図である。 制御装置として機能するクライアントの構成例を示すブロック図である。 ネットワークカメラの制御処理手順の例を示すフローチャートである。 制御装置で実行される制御処理手順の例を示すフローチャートである。 第２の実施形態を示し、バッファの増分算出例を示すフローチャートである。

以下に、本発明の実施形態の詳細について説明する。
（第１の実施形態）
図１は、本実施形態の映像監視システムの構成例を示す図である。図１に示すように、本実施形態の映像監視システムは、ネットワークカメラ１００と、クライアント１２０〜１２２と、ネットワークカメラ１００とクライアント１２０〜１２２とを接続するネットワーク１５０とにより構成されている。クライアント１２０〜１２２にはカメラ制御用の通信プロトコルを使用してネットワークカメラ１００の制御を行うプログラムが含まれる。本実施形態の映像監視システムは、録画制御装置であるネットワークワークカメラ１００で撮影した画像を利用して画像認識処理を行う。

図２に、第１の実施形態におけるネットワークカメラ１００の全体構成を表すブロック図を示す。なお、図２では、ネットワークカメラ１００を、カメラ部とサーバ部を一体として構成した例を説明するが、本発明は、カメラ部とサーバ部を別体としても構成してもよい。このように別体として構成した形態では、本発明を、画像を録画する録画制御装置であるサーバとして実現してもよい。
図２において、２０１はレンズ部、２０２はＣＣＤ、２０３は信号処理部、２０４は画像解析部、２０５は符号化部、２０６は通信処理部である。
以下に、ネットワークカメラ１００で撮影された映像データをネットワーク１５０へ配信するまでの処理を説明する。

レンズ部２０１から取り込まれた光学映像は、ＣＣＤ２０２でＲＧＢデジタルデータに変換された後、信号処理部２０３へ送られる。信号処理部２０３では、ＲＧＢデジタルデータをＹＣｂＣｒ４：２：０フォーマットまたはＹＣｂＣｒ４：２：２フォーマットのデジタルデータに変換する処理、要求された送信映像の画像サイズへの変換処理、各種フィルター処理などを行い、撮影データを生成する。

生成された撮影データは、画像解析部２０４に送られると同時に符号化部２０５へも送られ、画像データをＨ．２６４フォーマット、またはＪＰＥＧフォーマットへ符号化圧縮する処理を実行する。符号化部２０５で生成されたＨ．２６４の動画ストリームデータまたは各ＪＰＥＧ静止画データは、通信処理部２０６によりＴＣＰ／ＩＰ、ＨＴＴＰあるいはＲＴＰなどのネットワークプロトコルに従って、ネットワーク１５０を経由して各クライアントに配信される。本実施形態においては、クライアント１２０〜１２２へデータを配信する。

画像解析部２０４では、撮影された画像データを解析して目的とする画像中に被写体や指定条件の画像パターンが含まれているかどうかを検出する処理を行う。信号処理部２０３、画像解析部２０４、符号化部２０５、通信処理部２０６の各処理ブロックは後述のＣＰＵ２１１と接続されている。

２０７はカメラ制御部で、モーター駆動部２０８、レンズ駆動部２１０と接続されている。カメラ制御部２０７は、後述のＣＰＵ２１１からの指示に従ってカメラのパン、チルト、ローテーション動作のための制御信号や、ズームやＡＦ（オートフォーカス）動作のための制御信号を出力する。

モーター駆動部２０８は、モーター駆動回路などを備えており、カメラ制御部２０７からの制御信号に従ってパン、チルト、ローテーションモーター２０９を駆動する。ローテーションモーターの回転によってカメラの撮影方向を変えることが可能となる。
２１０はレンズ駆動部であり、ズーム、ＡＦなどの各制御を行うためのモーターとモーター駆動回路を備えていて、カメラ制御部２０７からの制御信号に従って制御される。

２１１はＣＰＵ（中央演算処理装置）であり、後述のＲＯＭ２１２に格納されている制御プログラムコードを実行することで、装置全体の動作が制御される。ＣＰＵ２１１にはＲＯＭ（リードオンリーメモリ）２１２、ＲＡＭ（ランダムアクセスメモリ）２１３、フラッシュメモリ２１４が接続されている。

また、ＣＰＵ２１１は信号処理部２０３、画像解析部２０４、符号化部２０５、通信処理部２０６とも接続されており、ＣＰＵ２１１は各モジュールに対して動作の開始・停止、動作条件の設定、動作結果の取得などを実行することで各モジュールの制御を行う。ＣＰＵ２１１の動作については、後述のフローチャートにより詳細に説明する。

ＲＯＭ２１２には、ＣＰＵ２１１がアプリケーション処理など本装置の制御を行うためのプログラムコードやデータが格納されている。
ＲＡＭ２１３は、ＣＰＵ２１１がＲＯＭ２１２のプログラムを実行する際に、データの書き込み、読み出しを行うメモリである。このＲＡＭ２１３には、ＣＰＵ２１１が装置制御におけるプログラム実行に使用するワークエリア、一時退避エリアなどが備えている。

次に、図３に、第１の実施形態における制御装置として設けられているクライアント１２０〜１２２の全体構成を示す。
クライアント１２０〜１２２には、キーボード３０１、マウス３０２、ディスプレイ３０３、ＣＰＵ３０４、ＲＯＭ３０５、ＲＡＭ３０６、ネットワークＩ／Ｆ３０７が、内部バス３１０を介して相互に接続されている。
キーボード３０１、及びマウス３０２には指示を与える一般的な入力装置が接続される。
ディスプレイ３０３には、表示を行う一般的な出力装置が用いられる。

図４では、録画制御装置であるネットワークカメラ１００において、図２に示されるＣＰＵ２１１が実行するソフトウエアの制御を、フローチャートを用いて詳細に説明する。
Ｓ４００において、動体検知設定の受信処理が行われる。つまり、制御装置であるクライアント１２０〜１２２から動体検知設定が送信されると、動体検知設定受信処理が通信処理部２０６で行われる。Ｓ４００において、受信される動体検知設定は、動体検知の検知種別と検知指定時間である。

本実施形態における検知種別は、物体が置かれてから一定時間物体の存在が継続すること、物体が持ち去られてから一定時間物体の存在が継続していないこと、画面の大部分の変化が一定時間継続すること、などを含む。

Ｓ４０１において、Ｓ４００で受信した動体検知設定に検知指定時間が有るか否かを判定し、指定されている場合はＳ４０３において動体検知設定に従い検知指定時間を設定する。指定されていない場合はＳ４０２において動体検知設定で指定された検知種別によって推奨される検知時間設定をＲＯＭ２１２から取得して設定する。

Ｓ４０４において、Ｓ４０２またはＳ４０３で設定した検知時間だけ映像を蓄積して一時的に記憶しておくバッファをフラッシュメモリ２１４に確保する。これにより、経過時間の間に撮像された画像が録画可能なサイズとすることができる。クライアント１２０〜１２２から送信された動体検知設定に検知時間の増分が指定されていた場合は、フラッシュメモリ２１４に確保するバッファのサイズに増分を加算したものをバッファのサイズとする。

Ｓ４０５において、ＣＣＤ２０２で撮像された画像を符号化部２０５経由で受信し、ＲＡＭ２１３に保存する。
Ｓ４０６においては、Ｓ４０５で受信した画像がフラッシュメモリ２１４内のバッファに録画する空き容量の有無を判定する。バッファ容量がある場合はＳ４０８に進む。バッファ容量がない場合、Ｓ４０７においてバッファ内に録画されている一番古い画像から順に、Ｓ４０５で受信した画像を保存できる容量が確保できるまで削除する。その後、Ｓ４０８に進む。
Ｓ４０８においては、フラッシュメモリ２１４に確保したバッファに、Ｓ４０５で受信した画像データを録画する。これにより、発生したイベントの経過時間に対応する画像を録画することができる。

Ｓ４０９においては、画像解析部２０４で解析した結果により、動体検知のイベント発生の有無を判定する。イベント発生がない場合は再びＳ４００の動体検知設定の受信処理を行う。動体の変化を検知してから所定の経過時間後にイベント発生が有った場合はＳ４１０において、発生したイベントが設定されている複数の検知種別の中で最長のものかどうかを判定する。

発生したイベントが最長のものであった場合は、Ｓ４１１において、フラッシュメモリ２１４内のバッファに録画された全ての画像データをクライアント１２０〜１２２に配信する。Ｓ４１０の判定の結果、発生したイベントが最長のものでなかった場合は、Ｓ４１２において、フラッシュメモリ２１４内のバッファに録画された後ろの検知時間数分の画像データをクライアント１２０〜１２２に配信する。以上により、Ｓ４０２またはＳ４０３で設定した検知時間だけ映像をフラッシュメモリ２１４内のバッファに録画し、録画した画像データをクライアント１２０〜１２２に配信する。

図５は、制御装置であるクライアント１２０〜１２２において、図３に示されるＣＰＵ３０４が実行するソフトウエアの制御を示すフローチャートである。以下、図５のフローチャートを用いて詳細に説明する。
キーボード３０１またはマウス３０２からの入力により動体検知設定画面の表示が要求されると、Ｓ５００において、動体検知設定画面が表示される。
Ｓ５０１において、キーボード３０１またはマウス３０２の入力から動体検知設定が入力されるとＲＡＭ３０６に記憶する。
Ｓ５０２において、動体検知設定コマンドを作成し、Ｓ５０３において作成した動体検知設定コマンドをネットワークカメラ１００に送信する。

Ｓ５０４において、ネットワークカメラ１００からの応答を待ち、ＮＧ応答または応答が無かった場合はＳ５０５においてディスプレイ３０３にネットワークカメラ１００に動体検知設定できなかった旨のエラーメッセージを表示する。また、ＯＫ応答であった場合はＳ５０６においてディスプレイ３０３にネットワークカメラ１００に動体検知設定できた旨の設定ＯＫメッセージを表示する。

（第２の実施形態）
以下、図６のフローチャートを参照して、本発明の第２の実施形態による、イベント発生前の録画バッファの増分の算出方法について説明する。
Ｓ６００においては、ＣＣＤ２０２で撮像された画像を受信する。
Ｓ６０１では、画像解析部２０４において検出された検知対象物体の位置を測定する。
Ｓ６０２では、Ｓ６００で受信した画像の画角の端からＳ６０１で測定した物体の位置までの長さを測定し、画面端から物体までの距離測定をする。

Ｓ６０３においては、Ｓ６０２で測定した画角の端から物体までの長さを、人間が歩く平均的な速度で除算して算出した時間を検知時間の増分とする。人間が歩く平均的な速度は、画像解析部２０４において検出された全ての人物の移動速度の平均から算出する。これにより、検知時間の増分は、人間が歩く平均的な速度で移動する所要時間とすることができる。ここで、人間が歩く平均的な速度は、カメラを起動した後からカメラが検出した全ての人物の歩行速度を測定し、その平均値から導く。
Ｓ６０４においては、検知時間の増分を検知時間に加算し、フラッシュメモリ２１４に確保したバッファの容量を拡張する。
これにより、検知イベントが発生する前の任意の時間を録画バッファの増分として、クライアントから録画時間を設定することが可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１ レンズ、２０２ ＣＣＤ、２０３ 信号処理部、２０４ 画像解析部、２０５ 符号化部、２０６ 通信処理部、２１１ ＣＰＵ、２１２ ＲＯＭ、２１３ ＲＡＭ、２１４ フラッシュメモリ

Claims (13)

1. カメラによって撮像された映像を解析して、前記映像に含まれる物体が所定の状態となってから所定の経過時間が経つと、イベントを発生させるイベント発生手段と、
   前記イベント発生手段によってイベントが発生されると、蓄積手段に前記カメラによって撮像された映像を蓄積させる制御手段と
   を有し、
   前記制御手段は、前記イベント発生手段によって発生したイベントに対して設定された前記経過時間に応じて、前記カメラによって撮像され一時的に記憶された映像のうち、発生したイベントに対して設定された前記経過時間に対応する映像を蓄積するよう、前記蓄積手段への映像の蓄積を制御することを特徴とする制御装置。
2. 前記制御手段は、前記イベント発生手段によって発生したイベントの種別に応じて、蓄積手段への映像の蓄積を制御することを特徴とする請求項１に記載の制御装置。
3. 前記イベントは、物体が置かれてから一定時間物体の存在が継続することを検知する置き去り検知を含むことを特徴とする請求項１又は２に記載の制御装置。
4. 前記イベントは、物体が持ち去られてから一定時間物体の存在が継続していないことを検知する持ち去り検知を含むことを特徴とする請求項１〜３のいずれか１項に記載の制御装置。
5. 前記イベントは、画面の大部分の変化が一定時間継続することを検知するいたずら検知を含むことを特徴とする請求項１〜４のいずれか１項に記載の制御装置。
6. 前記カメラによって撮像された映像を一時的に記憶しておくバッファ手段を備え、
   前記バッファ手段のサイズは、発生したイベントに対して設定された経過時間の間に撮像された映像が録画可能なサイズであることを特徴とする請求項１〜５のいずれか１項に記載の制御装置。
7. 複数の種別のイベントが発生した場合、前記複数の種別のイベントの前記経過時間のうち最長の前記経過時間を前記バッファ手段の容量とすることを特徴とする請求項６に記載の制御装置。
8. 前記制御手段は、前記一時的に記憶された映像のうち、発生したイベントに対して設定された前記経過時間に対応する映像のみを前記蓄積手段に蓄積するよう制御することを特徴とする請求項１〜７のいずれか１項に記載の制御装置。
9. 任意の時間をバッファの増分としてクライアントから設定可能であることを特徴とする請求項６に記載の制御装置。
10. 前記バッファ手段の容量を、検知対象物体と画角の端までの最長の長さを人間が歩く平均的な速度で移動する所要時間に基づいて増加させる手段を有することを特徴とする請求項６に記載の制御装置。
11. 人間が歩く平均的な速度を、カメラを起動した後にカメラが検出した人物の歩行速度を測定し、その平均値から導く手段を有することを特徴とする請求項１０に記載の制御装置。
12. カメラによって撮像された映像を解析して、前記映像に含まれる物体が所定の状態となってから所定の経過時間が経つと、イベントを発生させるイベント発生工程と、
    前記イベント発生工程においてイベントが発生されると、蓄積手段に前記カメラによって撮像された映像を蓄積させる制御工程と
    を有し、
    前記制御工程において、前記イベント発生工程によって発生したイベントに対して設定された前記経過時間に応じて、前記カメラによって撮像され一時的に記憶された映像のうち、発生したイベントに対して設定された前記経過時間に対応する映像を蓄積するよう、前記蓄積手段への映像の蓄積を制御することを特徴とする制御方法。
13. 請求項１〜１１のいずれか１項に記載の制御装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images