JP5461623B2 - 監視システムにおける監視データ処理 - Google Patents

Description

本発明は、監視システムにおいて監視データのシーケンスを記録するための記録部により取得されるデータの処理に関する。

監視システム、例えばビデオ調査システム、音や温度などの周囲状況が監視されるシステムは、通常は非常に大量の監視データを生み出す。監視データは通常、時系列のデータの形式であり、種々の検出器及び記録部で生じ、例えば、ビデオ、熱画像、オーディオ及び温度シーケンスなどの監視される状況を表す。

このような監視データの処理は、望ましくない状態が発生する場合に対処可能にする簡潔で管理可能なデータセットを監視システムのユーザ又はオペレータに対して提供する目的のため、多かれ少なかれ自動的な手順及び解析アルゴリズムを伴う場合がある。このような手順及びアルゴリズムは、変換、フィルタリング及び実データの他の数学的処理を含むことがあり、実データは、データをより理解可能にしかつ扱いやすくするために、監視の間記録される。

しかしながら、これが監視データそのものの処理に必要にも関わらず、ユーザ又はオペレータの観点からは、監視データがいつ得られたかの情報を得ることも望ましいことである。これは通常、監視システムが非常に少ない数の記録部を有し、これらのユニットが連続的に監視データを記録する状況においては、小さい課題である。しかし、より多くの記録部を有し、これら記録部がより長い期間にわたって多かれ少なかれ断続的な方法で監視データを記録する場合、監視データの量は非常に大きくなり、管理が困難になり、システムのユーザ又はオペレータは、監視データがいつ記録されたかという概要を得ることが困難であると感じる。

従来技術の解決策は通常、データの統計的概要を示すために、リスト及びテーブルの形式で、又は棒グラフ及び他のタイプの図表形式のグラフィック表示での監視データのテキスト表現を含む。そのようなシステムのひとつは、ミラシス社により提供されるＮＶＲシステムである。

監視システムに関する上述の課題に鑑み、監視システムにおける監視データの処理方法が提供される。該システムは、監視データのシーケンスを記録するための複数の記録部（例えばビデオシーケンス、熱画像シーケンス、オーディオシーケンス、温度シーケンス及び監視データに関連するメタデータ等）とシステム制御局を備え、該方法は、システム制御局において、複数の記録部の各々に記録された監視データの複数のシーケンスのうちの監視データの各シーケンスに関連したタイミング情報を取得することを含む。タイミング情報は、シーケンス毎の開始時間及び停止時間をそれぞれ示す。選択された記録部を示す記録部選択信号が受信される。タイミング情報が記録部選択信号とともに処理され、該処理は、第１のグラフィック特性（例えば第１の色）を用いて、少なくとも監視データのシーケンスの一部について、前記開始及び停止時間のグラフィック表現を表示することと、第１のグラフィック特性とは異なる第２のグラフィック特性（例えば第２の色）を用いて、選択された記録部に記録された監視データのシーケンス毎に、前記開始及び停止時間のグラフィック表現を表示することを含む。

このような方法は、記録部がより長い期間にわたって多かれ少なかれ断続的な方法で監視データを記録する状況において役立つ。これらの状況での監視データの量は通常は非常に大きいため、この方法が実現されるシステムのユーザ又はオペレータは、監視データがいつ記録されたかの概要を得ることが可能になる。

第１のグラフィック特性を用いて表示される前記シーケンスの一部が、複数の記録部の各々に記録された監視データの複数のシーケンスから、選択された記録部に記録されたシーケンスを除外することにより作成されてもよい。

シーケンス毎に開始及び停止時間のグラフィック表現を表示することは、各シーケンスの開始及び停止時間に応じたサイズ及び配置をそれぞれ有する多角形を表示することを含んでもよい。

シーケンス毎に開始及び停止時間のグラフィック表現を表示することは、タイムラインに沿って、例えば互いに重なって複数のグラフィック表現を表示することを含んでもよい。

いくつかの実施の形態は、各リスト記録が監視データのひとつのシーケンスに関連したタイミング情報を含み、該リスト記録のリストの作成を伴う複数のステップを含む。そして多角形の各ベクトル表現が算出され、続いて、多角形を表すベクトルに対応する各ビットマップが算出される。そして、多角形を表すベクトルの少なくとも一部に対応するビットマップの集約ビットマップが算出される。第１のグラフィック特性を用いて集約ビットマップが描画され、第２のグラフィック特性を用いて、選択された記録部に対応するビットマップが描画される。

タイミング情報を取得することは、タイミング情報の要求を各記録部に送信することと、各記録部からタイミング情報を受信することを含む。代わりに又はさらに、タイミング情報を取得することは、タイミング情報の要求をシーケンスサーバに送信することと、シーケンスサーバからタイミング情報を受信することを含んでもよい。

他の態様においては、監視データのシーケンスを記録するための複数の記録部を備えた監視システムのためのシステム制御局が提供される。システム制御局は、複数の記録部の各々に記録された監視データの複数のシーケンスのうちの監視データの各シーケンスに関連したタイミング情報であって、シーケンス毎の開始時間及び停止時間をそれぞれ示す前記タイミング情報を取得し、選択された記録部を示す記録部選択信号を受信し、タイミング情報及び記録部選択信号を処理するよう構成された制御通信回路を備える。該処理は、第１のグラフィック特性を用いて、少なくとも監視データのシーケンスの一部について、前記開始及び停止時間のグラフィック表現を表示することと、第１のグラフィック特性とは異なる第２のグラフィック特性を用いて、選択された記録部に記録された監視データのシーケンス毎に、前記開始及び停止時間のグラフィック表現を表示することを含む。

さらに他の態様において、このようなシステム制御局と、監視データのシーケンスを記録するための複数の記録部、例えば、ビデオカメラと、オーディオ記録部と、温度記録部を備えた監視システムが提供される。

さらに他の態様において、処理部で実行されると、上に概説した方法を実行するソフトウェア命令を含むコンピュータプログラム製品が提供される。

これら更なる態様は、上に概説した方法に相当する効果及び利点を提供する。

以下の添付図面を参照して、実施例を記載する。

監視システムを模式的に示したものである。 図１のシステムなどの監視システムにおける監視データを処理する方法のフローチャートである。 記録された監視データのタイミングを模式的に示したものである。 タイムラインに沿って表示される処理済み監視データを模式的に示したものである。 タイムラインに沿って表示される処理済み監視データを模式的に示したものである。 図１のシステムなどの監視システムにおける監視データを処理する方法のフローチャートである。

図１を参照して、監視システム１００は、制御局１０６と、監視データを格納するための記憶装置１１６と、デジタルビデオカメラ１１４を含む監視データのシーケンスを記録するための複数の記録部と、オーディオ記録部１１８と、温度などの周囲状況を検出するためのセンサ１２０とを備える。各ユニットは、デジタル通信ネットワーク１１２において相互接続される。制御局１０６は、ハードウェアの観点から、処理部１０４と、メモリ１０２と、入出力用回路１０８を備える。メモリ１０２に記憶されたソフトウェア命令は、局１０６及びシステム１００との相互作用を制御し、プロセッサにより及びハードウェアユニットと組み合わせて実行されるときに、ユーザインタフェース１１０を実装するよう構成される。ユーザインタフェースは、監視データを含む、ビデオデータ及び他の情報を、ユーザ又はオペレータに表示するための画面を有する。当業者は、ユーザインタフェース１１０が、制御局１０６のオペレータが監視システム１００とインタラクトすることを可能にする、キーパッド、キーボード、拡声器などの他の入出力ユニットを含むことができることを理解するであろう。

ネットワーク１１２は、記録部１１４、１１８、１２０からのデジタルデータ、及び、制御局１０６と記録部の間のシグナリング情報の通信に適したタイプのものである。例えば、ネットワーク１１２は、ローカルエリアネットワーク及びワイドエリアネットワーク、有線と無線の任意の組合せでもあってもよく、それらは、インターネットプロトコル（ＩＰ）群などの既知の適切なネットワークプロトコル、及び、３ＧＰＰのフレームワークの範囲内で確立された通信プロトコルを含む他のデータ通信プロトコルに従い、デジタルデータを伝達するように構成される。従って、通信ユニット１０６、１１４、１１６、１１８及び１２０のいずれかは、有線又は無線の通信手段、例えばイーサネット（登録商標）有線通信手段、及び／又は、ＩＥＥＥ ８０２．１１セットの標準及び／又は３ＧＰＰ標準に基づき通信可能な無線手段、を介して接続されることができる。

カメラ１１４は、ビデオシーケンスを生成し、ビデオシーケンス、又は、画像やビデオメタデータなどの他のタイプの画像データを、ネットワーク１１２を介して制御局１０６に通信可能な適宜のデジタルカメラでもよい。カメラ１１４は、複数の画像を記憶するための画像記憶メモリを有してもよい。カメラ１１４は、当分野で既知の回路（従って図１では詳細に図示されてない）とともに、入射光を集光するためのレンズシステムと、入射光及び／又は熱放射を記録するための、例えば電荷結合素子 （ＣＣＤ）、ＣＭＯＳセンサ又は同様のセンサの形態の画像センサとを有する。例えば、この回路は、典型的には、（ハードウェア、ソフトウェア又はそれらの組み合わせで実装される）画像処理モジュール、画像／ビデオエンコーダ、例えばビデオ解析を管理する処理部、メモリ、及び、ネットワーク１１２への接続のためのネットワークインターフェースを含む。画像／ビデオエンコーダは、取り込まれたデジタル画像データを、連続のビデオシーケンス用、制限されたビデオシーケンス用、静止画像用、又は、ストリーム画像用の複数の既知のフォーマットのひとつにエンコードするよう配置される。例えば、画像情報は、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４、ＪＰＥＧ、Ｍ―ＪＰＥＧ、ビットマップなどにエンコードされることができる。

カメラで作成された監視データは通常、ビデオシーケンスの形式であるが、監視データはメタデータの形式でもよく、少なくともメタデータを含んでもよい。このようなメタデータは、カメラにより記録されるビデオデータに関連したいかなる種類の情報でもよい。例えば、カメラでの処理は、カメラによって記録される場面の動きを検出することを含んでもよく、そしてメタデータは、この検出された動きに関する情報の形式でもよい。

オーディオ記録部１１８は、適宜のマイクロホンを装備したユニットでもよく、場合によっては、例えばカメラ１１４のいずれかなど、ビデオカメラに組み込まれることができる。同様に、温度などの周囲状況を検出するセンサ１２０は、適宜のタイプのものでもよい。

監視データ記憶装置１１６は、監視データのシーケンスを、ネットワーク１１２を介して制御局１０６及び記録部１１４、１１８、１２０と通信できる。記憶装置１１６は、制御局１０６の機能部を形成でき、制御局１０６に完全に統合されることもできる。

図２に移り、図１のシステム１００などのシステムにおける方法を少し詳しく説明する。本方法は、すでに概説したような方法を実行し、取得ステップ２０２を開始してタイミング情報を取得する。タイミング情報は、図１に関係して上述した記録部などの複数の記録部の各々に記録される監視データの複数のシーケンスにおける、監視データの各シーケンスに関連する。タイミング情報は、シーケンス毎の開始時間及び停止時間をそれぞれ示す。タイミング情報は、実監視データに関連づけられた記述的メタデータの一部でもよい。

受信ステップ２０４において、選択された記録部を示す記録部選択信号が受信される。選択信号は、ユーザ又はオペレータが、図１の制御局１０６などの制御局のユーザインタフェースとインタラクトする動作で生じることができる。例えば、選択信号は、カメラ、例えば図１のカメラ１１４のいずれか、により記録されるビデオシーケンスのタイミングを見たいというユーザ又はオペレータの要望を反映できる。

そして、取得ステップ２０２で得られたタイミング情報は、受信ステップ２０４で得られた記録部選択信号と共に処理される。処理は、並列に又は直列に動作できる２つのステップで行われる。第１の表示ステップ２０６においては、第１のグラフィック特性（例えば第１の色）を用いて、少なくとも監視データのシーケンスの一部に対する上記開始及び停止時間のグラフィック表現が行われる。第２の表示ステップ２０８においては、第１のグラフィック特性と異なる第２のグラフィック特性（例えば第２の色）を用いて、選択された記録部に記録される監視データの各シーケンスに対する上記開始及び停止時間のグラフィック表現が行われる。

本方法は、メモリ１０２にロードされ、処理部１０４で実行されることができるように構成された、ソフトウェア命令を有するコンピュータプログラム製品１２２の形式で実現できる。

図３ａ〜ｃ及び図４に移り、監視システムにおける監視データが処理されるより詳細な実施例を説明する。本方法では、作成ステップ４０２を開始してリスト記録のリストが作成され、ここで各記録リストは、監視データのひとつのシーケンスに関連したタイミング情報を含む。図３ａは、３つの記録部、例えば図１の記録部１１４、１１８、１２０によって記録された監視データのタイミング図を含むタイムライン３１０を示す。記録されたシーケンスの第１のグループ３０２ａと記録されたシーケンスの第２のグループ３０２ｂが示されている。第１及び第２のグループ３０２ａ、３０２ｂは、第１の記録部に記録される。タイムライン３１０のタイムスケールに注目すると、グループ３０２ａ、３０２ｂの記録されたシーケンスは、期間中数分のオーダーで、時間において断続的に分布され、数分（各グループ３０２ａ、３０２ｂ内のシーケンス間のギャップで示す）から数時間（第１のグループ３０２ａと第２のグループ３０２ｂ間の約９：００から約１２：００までのギャップで示す）の範囲のギャップを有することが分かる。

第２及び第３の記録部のそれぞれに記録されるシーケンスのグループ３０４ａ、３０４ｂ、３０６ａ、３０６ｂは、第１の記録部に記録されたグループ３０２ａ、３０２ｂと同様に、タイムライン３１０に示される。もちろん、対象のタイムスケールは、監視システムが作動している特定の状況に依存してもよい。

本方法の実施例のフローを続けると、その後、多角形の各ベクトル表現がベクトル計算ステップ４０４で算出される。この計算のための実際のアルゴリズムは、本開示の範囲外である。

計算ステップ４０４の後に、ビットマップ計算ステップ４０６が続き、そこで各ビットマップの計算が行われ、ビットマップは多角形を表すベクトルに対応する。この計算のための実際のアルゴリズムは、本開示の範囲外である。

少なくとも多角形を表すベクトルの一部に対応するビットマップの集約ビットマップが、集約ビットマップ計算ステップ４０８において算出される。例えば、図３ｂの説明に関連して示すように、集約ビットマップは、グループ３０４ａ、３０４ｂ、３０６ａ及び３０６ｂの多角形を表すビットマップからなることができる。同様に、図３ｃの説明に関連して示すように、集約ビットマップは、グループ３０２ａ、３０２ｂ、３０６ａ及び３０６ｂの多角形を表すビットマップからなることができる。

そして、集約ビットマップは第１のグラフィック特性を用いて第１の描画ステップ４１０において描画され、選択された記録部に対応するビットマップは、第２のグラフィック特性を使用して第２の描画ステップ４１２において描画される。

図３ｂ及び図３ｃは、各タイムライン３２０及び３３０を示す表示（例えば、図１の制御装置１０６などの制御装置のユーザインタフェースにおける表示）の外観を図示し、タイムラインに沿って、選択された各記録部からの監視データに関連したタイミング情報が、他の記録部からの監視データに関連したタイミング情報とともに表示される。図３ｂ及び３ｃの時間的尺度は、図３ａと同じである。

図３ｂにおいて、選択された記録部は、監視データの第１及び第２のグループ３０２ａ、３０２ｂを記録した第１の記録部である。選択された記録部からの監視データについてのタイミング情報は、上述のように処理され、黒の多角形の形式でのグラフィック表現が、タイムライン３２０に沿って表示される。第２及び第３の記録部からの監視データについてのタイミング情報は、上述のように処理され、選択された記録部を表す黒の多角形に重ねて、灰色の多角形のグループ３０４ａ、３０６ａ、３０４ｂ、３０６ｂの形式のグラフィック表現が、タイムライン３２０に沿って表示される。

図３ｃにおいて、選択された記録部は、監視データの第１及び第２のグループ３０４ａ、３０４ｂを記録した第２の記録部である。選択された記録部からの監視データについてのタイミング情報は、上記の通りに処理され、黒の多角形の形式のグラフィック表現が、タイムライン３３０に沿って表示される。第１及び第３の記録部からの監視データについてのタイミング情報も、上記の通りに処理され、灰色の多角形のグループ３０２ａ、３０６ａ、３０２ｂ、３０６ｂの形式のグラフィック表現が、タイムライン３３０に沿って、選択された記録部を表す黒の多角形に重ねて表示される。

図３ｂ及び図３ｃに明確に示されるように、本方法が実現されるシステムのユーザ又はオペレータには、選択された記録部に関する監視データがいつ記録されたかの概要を読みやすいことが提供される。ひとつの記録部をひとつずつ選択するシーケンスを実行すること、例えば、制御局のユーザインタフェースの記録部選択ボタンを押すことで、ユーザ又はオペレータは、選択シーケンスにおける各記録部についてタイミング情報の図をすばやく切り替えることが可能になる。

図４を参照して記載した処理は、一連のステップの一例であり、上に概説したような効果を奏する。しかしながら、変形例の手順では、ビットマップ計算が行われる前に、多角形が集約される集約ステップを含むことができる。

さらに他の変形例は、集約を行わない手順でもよい。このような手順では、多角形から個々のビットマップを作成することに続いて、ひとつひとつのビットマップを描画することを伴ってもよい。このような手順においては、描画は、最後の描画以外は第１の（又は少なくとも同様の）グラフィック特性を用いて行われる。既に描画された多角形のグラフィック特性とは異なるグラフィック特性を用いる最後の描画は、選択された記録部を表示する多角形の描画である。すなわち、最後の描画は、「既に描かれた多角形の上で」行われると解されることができる。

Claims (13)

1. 監視データ（３０２、３０４、３０６）のシーケンスを記録するための複数の記録部（１１４、１１８、１、１２１０）とシステム制御局（１０６）を備えた監視システム（１００）において監視データを処理する方法であって、該方法は、システム制御局において、
   複数の記録部の各々に記録された監視データの複数のシーケンスのうちの監視データの各シーケンスに関連したタイミング情報であって、シーケンス毎の開始時間及び停止時間をそれぞれ示す前記タイミング情報を取得すること（２０２）を含み、
   該方法は、
   選択された記録部を示す記録部選択信号を受信すること（２０４）と、
   タイミング情報及び記録部選択信号を処理することであって、該処理は、
   第１のグラフィック特性を用いて、少なくとも監視データのシーケンスの一部について、タイムライン（３２０、３３０）に沿って前記開始及び停止時間のグラフィック表現を表示すること（２０６）と、
   第１のグラフィック特性とは異なる第２のグラフィック特性を用いて、選択された記録部に記録された監視データのシーケンス毎に、タイムライン（３２０、３３０）に沿って前記開始及び停止時間のグラフィック表現を表示すること（２０８）、
   を含む前記処理すること
   を特徴とし、
   タイムライン（３２０、３３０）に沿ってシーケンス毎に前記開始及び停止時間のグラフィック表現を表示することは、互いに重なった複数のグラフィック表現を表示することを含む前記方法。
2. 複数の記録部の各々に記録された監視データの前記複数のシーケンスから、選択された記録部に記録されたシーケンスを除外することにより、第１のグラフィック特性を用いて表示される前記シーケンスの一部を作成することを含む請求項１に記載の方法。
3. シーケンス毎に前記開始及び停止時間のグラフィック表現を表示することは、各シーケンスの開始及び停止時間に応じたサイズ及び配置をそれぞれ有する多角形を表示することを含む請求項１又は２に記載の方法。
4. 各リスト記録が監視データのひとつのシーケンスに関連したタイミング情報を含む、該リスト記録のリストを作成すること（４０２）を含み、タイミング情報の処理は、
   多角形の各ベクトル表現を算出すること（４０４）と、
   多角形を表すベクトルに対応する各ビットマップを算出すること（４０６）と、
   多角形を表すベクトルの少なくとも一部に対応するビットマップの集約ビットマップを算出すること（４０８）と、
   第１のグラフィック特性を用いて集約ビットマップを描画すること（４１０）と、
   第２のグラフィック特性を用いて、選択された記録部に対応するビットマップを描画すること（４１２）と
   を含む請求項３に記載の方法。
5. 第１のグラフィック特性は第１の色であり、第２のグラフィック特性は第２の色である請求項１乃至４のいずれかに記載の方法。
6. 前記タイミング情報を取得することは、
   タイミング情報の要求を各記録部に送信することと、
   各記録部からタイミング情報を受信すること
   を含む請求項１乃至５のいずれかに記載の方法。
7. 前記タイミング情報を取得することは、
   タイミング情報の要求をシーケンスサーバに送信することと、
   シーケンスサーバからタイミング情報を受信すること
   を含む請求項１乃至６のいずれかに記載の方法。
8. 監視データのシーケンスは、ビデオシーケンス、熱画像シーケンス、オーディオシーケンス及び温度シーケンスのいずれかを含む請求項１乃至７のいずれかに記載の方法。
9. 監視データのシーケンスは、監視データに関連したメタデータを含む請求項１乃至８のいずれかに記載の方法。
10. 監視データ（３０２、３０４、３０６）のシーケンスを記録するための複数の記録部（１１４、１１８、１２０）を備えた監視システム（１００）のためのシステム制御局（１０６）であって、該システム制御局は、
    複数の記録部の各々に記録された監視データの複数のシーケンスのうちの監視データの各シーケンスに関連したタイミング情報であって、シーケンス毎の開始時間及び停止時間をそれぞれ示す前記タイミング情報を取得するよう構成された制御通信回路（１０２、１０４、１０８）を備え、
    前記監視システムは、該制御通信回路が、
    選択された記録部を示す記録部選択信号を受信し、
    タイミング情報及び記録部選択信号を処理し、該処理は、
    第１のグラフィック特性を用いて、少なくとも監視データのシーケンスの一部について、タイムライン（３２０、３３０）に沿って前記開始及び停止時間のグラフィック表現を表示することと、
    第１のグラフィック特性とは異なる第２のグラフィック特性を用いて、選択された記録部に記録された監視データのシーケンス毎に、タイムライン（３２０、３３０）に沿って前記開始及び停止時間のグラフィック表現を表示すること、
    を含み、
    タイムライン（３２０、３３０）に沿ってシーケンス毎に前記開始及び停止時間のグラフィック表現を表示することは、互いに重なった複数のグラフィック表現を表示することを含むように構成されたことを特徴とするシステム制御局。
11. 請求項１０に記載のシステム制御局（１０６）と、監視データのシーケンスを記録するための複数の記録部（１１４、１１８、１２０）を備えた監視システム（１００）。
12. 前記複数の記録部は、ビデオカメラと、オーディオ記録部と、温度記録部のいずれかを有する請求項１１に記載のシステム。
13. 処理部で実行されると、請求項１乃至９のいずれかの方法を実行するソフトウェア命令を含むコンピュータプログラム。

Images