JP6218872B2 - 監視装置、情報処理装置、監視装置の処理方法及びプログラム - Google Patents

Description

本発明は、監視装置、情報処理装置、監視装置の処理方法及びプログラムに関するものである。

監視装置は撮像された映像から、映像の変化に基づく、背景差分法やフレーム間差分法などのアルゴリズムを用いて物体の検知を行っている。特定の画角に対して、検知したい領域を設定する場合もある。監視装置が画角内において動体、不動体などを認識すると、クライアントに検知した旨の情報を送り、録画の開始や警告を出すなどの動作を行う。

また、動体や不動体が存在しないため、何も検知していない状態と、機器の異常などによって検知が停止している状態とを区別できる監視装置も提案されている（例えば、特許文献１参照）。具体的には、検知中と、検知停止中を示す背景取得中やＰＴＺ（Pan Tilt Zoom）動作中などの情報である検知ステータスという検知の状態を示すデータをクライアントに送る。そして、クライアントが、送られてきた検知ステータスの情報を利用する方法が開示されている。

特許第４３９６７０８号公報

しかしながら、上記従来の技術では、監視する画角の中に検知領域を設定して撮影している状態でＰＴＺを動かしたため、設定した検知領域が画角から外れてしまった場合に、検知を継続することができなかった。更に、クライアントは設定した検知領域が画角から外れていることを知ることもできなかった。

本発明は、撮像される映像の画角内に設定した検知領域が、画角が変化したことで設定時の検知領域から外れたことを通知可能とする技術を提供することを目的とする。

上記の目的を達成する本発明に係る監視装置は、
物体を監視する監視装置であって、
画角内の映像を撮像する撮像手段と、
予め設定された画角において前記撮像手段で撮像された映像から動体を検知する検知手段と、
前記検知手段の検知状態を判定する判定手段と、
前記検知手段による検知結果および前記判定手段によって判定された前記検知手段の検知状態に基づいて、前記検知手段の検知結果を設定する設定手段と、
前記設定手段によって設定された検知結果および前記判定手段によって判定された前記検知手段の検知状態を情報処理装置に通知する通知手段と、
を有し、
前記検知手段の検知結果が、動体が検知されたことを示す結果であり、かつ前記判定手段によって判定された前記検知手段の検知状態が無効である場合、前記設定手段は、前記検知手段の検知結果を動体検知されていないことを示す結果に設定することを特徴とする。

本発明によれば、撮像される映像の画角内に設定した検知領域が、画角が変化したことで設定時の検知領域から外れたことを通知することが可能となる。

従って、意図した検知が行えていない場合でも、検知状態によって検知無効であることを知ることができると共に、検知結果が正しいか否かを容易に判断できる。

本実施形態における監視システムの構成を示す図。 ユーザインターフェースの一例を示す図。 検知状態の有効又は無効を設定する処理を示すフローチャート。 最終的な検知結果を求める処理を示すフローチャート。 JPEGヘッダのフォーマット例を示す図。 図１に示す各部からの出力のタイミングを示す図。

以下、図面を参照しながら発明を実施するための形態について詳細に説明する。

図１は、本実施形態における監視システムの構成を示す図である。図１に示す例では、監視システムは、撮像部の画角内に検知領域を予め設定して映像を撮像する監視装置１０と、その検知領域の映像等を受け取るクライアント２０とで構成される。

監視装置１０において、制御部１１は不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、周辺機器などで構成され、ＣＰＵがＲＯＭに格納されたプログラムを実行する際に、ＲＡＭを作業領域として用いて監視装置全体の制御を行う。撮像部１２は、レンズなどの光学系から映像を取得してJPEGフォーマットに変換したJPEG画像を検知部１３に送り、そのJPEG画像を一意に識別するためのシーケンス番号を含むJPEGヘッダをJPEGヘッダ付加部１４に送る。また、撮像部１２はＰＴＺ（パン、チルト、ズーム）機構を備えており、ＰＴＺ機構は制御部１１からの制御で動作可能に構成されている。また、制御部１１は予め設定されている、画角内の検知対象とする領域である検知領域を示す位置情報を検知部１３へ送る。

検知部１３は、背景差分方式によって動体と不動体を検知する（動体検知処理）。ここでは、撮像部１２から送られてきたJPEG画像から、検知領域の動体と不動体を判別し、動体の有無を検知部１３の出力としてJPEGヘッダ付加部１４及びメタデータ生成部１５に送る。この出力には、何も検出していない状態のアイドル、何か検出している状態のアクティブ、背景画像の初期化を行っている初期化の３つの状態がある。

尚、検知部１３は、実装方法によってはＰＴＺの変化に合わせて検知領域を追従させ、検知領域で指定された領域のみの背景画像で検知を行うことで、検知領域が映像に含まれている限りは検知を行えるようにしてもよい。しかし、本実施形態では、簡略化するため、検知領域の追従は行わず、特定の画角に対して検知領域が設定されており、検知処理を継続できないものとする。

制御部１１は、現在の画角のＰＴＺ位置と検知領域が設定された画角のＰＴＺ位置とを信頼性判定部１６に送る。信頼性判定部１６は、図３に詳細を示す検知状態の判定を行い、その結果をJPEGヘッダ付加部１４及びメタデータ生成部１５に送る。ここで、検知状態は、検知結果が有効であることを示す検知有効と、検知結果が無効であることを示す検知無効の２つの状態がある。

JPEGヘッダ付加部１４は、撮像部１２から送られたJPEGヘッダに、信頼性判定部１６で判定した検知状態と、その検知状態に基づいて検知部１３の出力を加味した検知結果とを付加する。尚、この検知結果の詳細については、図４を用いて更に後述する。また、JPEGヘッダのフォーマットの詳細については、図５を用いて更に後述する。

メタデータ生成部１５は、JPEG画像とは別に検知結果を送るためのデータを生成する。生成されたデータのフォーマットは、図５を用いて説明するJPEGヘッダのフォーマットと同様である。JPEGヘッダ付加部１４及びメタデータ生成部１５のデータは、通信部１７に送られる。

クライアント２０はパーソナルコンピュータ（ＰＣ）などの情報処理装置であり、JPEG画像の表示、ＰＴＺ機構の操作、検知結果など監視装置１０からのメッセージを表示するユーザインターフェースを備えている。また、クライアント２０は、監視装置１０の通信部１７と通信を行い、JPEG画像の取得やＰＴＺ機構へのコマンドの送信を行う。

ここで、クライアント２０の表示装置（不図示）に表示されるユーザインターフェースの一例を、図２を用いて説明する。撮像部１２で撮像されている映像が画角２１内に表示され、その画角２１の中で、検知を行う領域が検知領域２２として太い枠で表示される。尚、検知領域２２は、画角２１内の所定の領域が監視物体を検知する領域として予め設定された領域である。

ＰＴＺ操作部２３には、パン・チルト・ズームを指示可能なボタンが備えられ、ボタンによる指示はコマンドとして監視装置１０の通信部１７を介して制御部１１に送られる。これにより、監視装置１０では撮像部１２のＰＴＺ機構がクライアント２０から受信したコマンドによる指示に従って実際に操作される。

メッセージ表示欄２４は、監視装置１０のJPEGヘッダ付加部１４により付加されたJPEGヘッダ内の検知状態と検知結果、若しくはメタデータ生成部１５の検知状態と検知結果を分かり易いようにメッセージに変換して表示する表示欄である。例えば、検知領域２２の外から内へ物体２６が移動してきた場合は、検知結果に基づいてメッセージ表示欄２４に動体が出現したことを示すメッセージ、例えば「動体があります」が表示される。

次に、ＰＴＺ操作部２３で上矢印ボタン２７が操作され、撮像方向がチルトの上方向に変化した場合について説明する。この例では、ＰＴＺ操作部２３でチルトが上方向に操作され、画角２１内の映像が変わり、監視物体２８が検知領域２２から外れた状態になっている。このとき、JPEGヘッダ、若しくはメタデータの検知状態から検知無効であることを取得し、メッセージ表示欄２４には、例えば「検知領域が設定されている領域から外れています」が表示される。ここで、ユーザが必要に応じて、設定時の画角に戻すボタン２５を押下すると、制御部１１が記録されている設定時の画角に撮像部１２のＰＴＺ機構を制御して移動させる。これにより、検知領域２２が元に戻り、外れていた監視物体２８が検知領域２２内に表示される。

次に、信頼性判定部１６が検知状態の有効又は無効を設定する方法（処理）の詳細を、図３を用いて説明する。Ｓ３１において、制御部１１から検知領域が設定された際の画角の位置（検知領域設定位置）を取得し、Ｓ３２において、現在のＰＴＺ機構で特定される画角の位置（ＰＴＺ位置）を取得する。次に、Ｓ３３において、検知領域設定位置とＰＴＺ位置とを比較し、同じであればＳ３４へ処理を進め、検知状態を有効に設定する。一方、Ｓ３３において、同じでなければ検知領域を設定した際の画角と現在の画角とが異なるため、Ｓ３５へ処理を進め、検知状態に検知無効を設定する。最後に、Ｓ３６において、JPEGヘッダ付加部１４及びメタデータ生成部１５に検知状態を送信する。

次に、JPEGヘッダ付加部１４及びメタデータ生成部１５が検知部１３の出力と、信頼性判定部１６の検知状態から、最終的な検知結果を求める方法（処理）の詳細を、図４を用いて説明する。Ｓ４１において、検知部１３から出力を取得し、Ｓ４２では、その出力がアクティブか否かを判定する。ここで、アクティブであればＳ４３へ処理を進め、信頼性判定部１６から検知状態を取得し、Ｓ４４では、その検知状態が検知有効か検知無効かを判定する。判定の結果、検知状態が検知有効であればＳ４５へ処理を進め、検知部１３の出力の結果を反映して検知結果にアクティブを設定する。一方、検知無効であればＳ４６へ処理を進め、検知結果にアイドルを設定する。

また、上述のＳ４２において、検知部１３の出力がアイドル、若しくは初期化の場合にはＳ４７へ処理を進め、その出力をそのまま検知結果に反映する。このようにすることで、検知部１３の出力の結果に対して信頼性判定部１６の検知状態を加味して、その出力がアクティブであっても検知状態によって検知結果をアイドルにすることができる。

ここで、図５は、JPEGヘッダ付加部１４でのJPEGヘッダのフォーマットと、メタデータ生成部１５でのメタデータのフォーマットを示す図である。このフォーマットは共通で、動体と不動体など、検知するルールの数が複数ある場合には、ルール数情報にその総数を入れる。次に、ルール番号情報はルールの識別子であり、ルールの数が複数ある場合には、この番号で各ルールを識別する。次に、検知状態情報は信頼性判定部１６の結果を代入した情報である。クライアント２０はこの検知状態情報を参照することで、その時点でのＰＴＺ位置で画角が検知領域から外れているか否かを判定することができる。

次に、検知結果情報は、図４に示す処理により、検知部１３の検知結果に信頼性判定部１６の検知状態を加味した結果を入れた情報である。次に、ＰＴＺ位置情報は、その時点でのＰＴＺ位置を示すもので、パン・チルト・ズームの値を０から１００までの百分率で示す情報である。次に、検知領域設定時ＰＴＺ位置情報は、検知領域を設定した際のパン・チルト・ズームの位置を記録したもので、そのフォーマットはＰＴＺ位置情報と同様である。

このように、JPEGヘッダ付加部１４は撮像部１２から入手したJPEG画像のヘッダとして、例えばAPP9のマーカの後に図５に示すフォーマットの情報を追加で代入する。JPEG画像の画像データを受信したクライアント２０は、このヘッダ部分を参照することで、画角内の検知領域から検知したい領域が外れたか否かを判定できる。更に、撮像部１２で生成されたJPEG画像のJPEGヘッダにはシーケンス番号が含まれているため、検知部１３で出力と共にシーケンス番号をJPEGヘッダ付加部１４に通知する。これにより、JPEGヘッダ付加部１４はJPEG画像と検知結果の同期を取ることができる。

また、検知状態や検知結果の値に関わらず、フレーム毎に検知結果と検知状態の情報を入れることにより、クライアント２０は物体を検知したタイミングとその時の画像を正確に知ることができる。

ここで、JPEG画像は取得せず、検知状態と検知結果のみを知りたいクライアント２０はメタデータ生成部１５で生成されたメタデータを取得することになる。メタデータ生成部１５は、図５に示すフォーマットのバイナリデータやクライアント２０が分かり易いようＸＭＬ形式に変換して通信部１７を介してクライアント２０に送信する。

尚、メタデータを送信するタイミングは、信頼性判定部１６の検知状態と、検知部１３の検知結果に変化がある時でも良いし、固定のタイミングで毎回送信してもよい。前者の場合には、最小限のデータ量でクライアント２０に検知状態と検知結果を通知することができる。後者の場合には、検知結果がアクティブの間にメタデータの受信を開始した場合やメタデータを取りこぼした場合に有効である。

本実施形態では、画角内の検知領域が設定時から外れているか否かを検知状態から判定しているが、これは監視装置１０でなく、クライアント２０で判定してもよい。例えば、図５に示すフォーマットには、検知状態情報があるが、これを省略し、ＰＴＺ位置情報と検知領域設定時ＰＴＺ位置情報とから図３に示すフローチャートのアルゴリズムを用いて検知状態を算出することもできる。

次に、検知部１３、撮像部１２のＰＴＺ位置状態、信頼性判定部１６、JPEGヘッダ付加部１４及びメタデータ生成部１５の各出力を、図６に示す物体の出現とＰＴＺ位置の変更及び再度の物体の出現があった場合を例に説明する。

図６は、図１に示す各部からの出力のタイミングを示す図である。尚、初期状態は検知部１３で背景画像が作成され、何も物体を検知していない状態とする。また、図６に示す「検知部出力」は検知部１３の出力で、「ＰＴＺ位置」は現在のＰＴＺ機構で特定される画角の位置で、「検知状態」は信頼性判定部１６の出力（有効又は無効）である。

まず、タイミング６１は物体を検知した時で、検知部出力がアイドルからアクティブになる。また、信頼性判定部１６では、ＰＴＺ位置を参照し、画角が検知領域設定時と同じため、検知部出力の結果をそのまま検知結果とし、検知結果がアクティブになる。

次に、タイミング６２はＰＴＺ位置が変わり、検知領域設定時の画角から外れた場合である。この時、制御部１１は検知部１３に対して背景画像を初期化する指示を送る。これにより、検知部１３が検知部出力を初期状態に初期化し、検知結果も初期化される。

次に、タイミング６３は検知部１３の初期化が終わったタイミングで、再び検知処理を開始するが、ＰＴＺ位置により、画角が検知領域設定時の画角から外れている状態であると判定できる。

次に、タイミング６４は物体を検知したタイミングであるが、検知状態によれば、検知無効であるため、検知部出力の結果はアクティブであるが、検知結果はアイドルのままである。

次に、タイミング６５は画角が検知領域設定時の画角に戻った時であり、信頼性判定部１６は検知状態を検知有効にする。また、ここでもタイミング６２と同様に、背景画像の初期化のために検知部出力は初期化される。

次に、タイミング６６で初期化が終了した後、タイミング６７で再び物体を検知するが、この時は画角が検知領域設定時の画角と同じであるため、検知部出力の結果であるアクティブが検知結果に反映されて、検知結果がアクティブになる。

このように、クライアント２０に対して検知状態を送ることで、検知領域を設定した時の画角とは異なる画角になっているとき、検知が正しく行えていないことをクライアント２０は知ることができる。また、クライアント２０は必要に応じて検知を行っていた元の画角に戻すなどの処置を行うこともできる。

［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０：監視装置、１２：撮像部、１３：検知部、１４：ＪＰＥＧヘッダ付加部、１５：メタデータ生成部、２０：クライアント、２３：ＰＴＺ操作部、２４：メッセージ表示欄

Claims (6)

1. 物体を監視する監視装置であって、
   画角内の映像を撮像する撮像手段と、
   予め設定された画角において前記撮像手段で撮像された映像から動体を検知する検知手段と、
   前記検知手段の検知状態を判定する判定手段と、
   前記検知手段による検知結果および前記判定手段によって判定された前記検知手段の検知状態に基づいて、前記検知手段の検知結果を設定する設定手段と、
   前記設定手段によって設定された検知結果および前記判定手段によって判定された前記検知手段の検知状態を情報処理装置に通知する通知手段と、
   を有し、
   前記検知手段の検知結果が、動体が検知されたことを示す結果であり、かつ前記判定手段によって判定された前記検知手段の検知状態が無効である場合、前記設定手段は、前記検知手段の検知結果を動体検知されていないことを示す結果に設定することを特徴とする監視装置。
2. 前記判定手段は、前記予め設定された画角と、前記検知手段によって動体が検知されたときの画角とが異なる場合、前記検知手段の検知状態を無効と判定することを特徴とする請求項１に記載の監視装置。
3. 請求項１に記載の監視装置から通知された検知結果および検知状態を示すメッセージを表示する表示手段を有することを特徴とする情報処理装置。
4. 物体を監視する監視装置の処理方法であって、
   撮像手段が、画角内の映像を撮像する撮像工程と、
   検知手段が、予め設定された画角において前記撮像手段で撮像された映像から動体を検知する検知工程と、
   判定手段が、前記検知工程での検知状態を判定する判定工程と、
   設定手段が、前記検知工程による検知結果および前記判定工程によって判定された前記検知工程での検知状態に基づいて、前記検知工程での検知結果を設定する設定工程と、
   通知手段が、前記設定工程によって設定された検知結果および前記判定工程によって判定された前記検知工程での検知状態を情報処理装置に通知する通知工程と、
   を有し、
   前記検知工程での検知結果が、動体が検知されたことを示す結果であり、かつ前記判定工程によって判定された前記検知工程での検知状態が無効である場合、前記設定工程では、前記検知工程での検知結果を動体検知されていないことを示す結果に設定することを特徴とする監視装置の処理方法。
5. 前記判定工程において、前記予め設定された画角と、前記検知工程において動体が検知されたときの画角とが異なる場合、前記検知工程での検知状態を無効と判定することを特徴とする請求項４に記載の監視装置の処理方法。
6. コンピュータを請求項１に記載の監視装置の各手段として機能させるためのプログラム。

Images