JP4321541B2 - 監視装置と監視方法 - Google Patents

監視装置と監視方法 Download PDF

Info

Publication number
JP4321541B2
JP4321541B2 JP2006102291A JP2006102291A JP4321541B2 JP 4321541 B2 JP4321541 B2 JP 4321541B2 JP 2006102291 A JP2006102291 A JP 2006102291A JP 2006102291 A JP2006102291 A JP 2006102291A JP 4321541 B2 JP4321541 B2 JP 4321541B2
Authority
JP
Japan
Prior art keywords
metadata
video data
unit
monitoring
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006102291A
Other languages
English (en)
Other versions
JP2007281615A (ja
Inventor
秀宇 宮牧
朝子 田村
和真 佃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006102291A priority Critical patent/JP4321541B2/ja
Priority to US11/730,365 priority patent/US8934012B2/en
Priority to KR1020070031502A priority patent/KR101377221B1/ko
Priority to TW096111652A priority patent/TWI387344B/zh
Priority to EP07251467A priority patent/EP1843305A3/en
Priority to CNA2007100895933A priority patent/CN101052123A/zh
Publication of JP2007281615A publication Critical patent/JP2007281615A/ja
Application granted granted Critical
Publication of JP4321541B2 publication Critical patent/JP4321541B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

この発明は、監視装置と監視方法に関する。この発明においては、監視端末から映像データとメタデータを取得して、このメタデータのフィルタ処理を行い、このフィルタ処理を行うことにより得られたフィルタ処理結果に基づいて、監視結果の出力を行うものである。
従来の監視システムでは、ネットワークを介して監視端末から監視装置に監視映像の映像データを供給し、この映像データを監視装置で記録することで、異常発生時の監視映像の確認等を監視装置で行うことができるようになされている(例えば特許文献1)。
特開2003−274390号公報
ところで、監視システムで監視を行う場合、予め設定した1つの情報に基づいて異常発生の有無を判別するものとしたとき、多様な監視動作を行うことができない。例えば、監視装置は、監視端末から供給された動体の検出結果を示す動体検知情報に基づいて異常発生の有無を判別するものとした場合、動体の動きが異常発生の通知を行う必要のない動きであっても、異常発生として判別されてしまう。
また、動体検知情報とは異なる情報に基づいて異常発生の有無を判別するものとした場合、動体検知情報とは異なる情報を正しく受信できるように、この情報のフォーマットやタイミングに対応可能な情報取得部を監視装置に設けなければならない。このため、種々の情報を利用可能として多様な監視動作を行うものとする場合、各情報に対応した情報取得部を設けなければならず、監視装置の機能の拡張を容易に行うことができない。
そこで、この発明では、多様な監視動作を容易に行うことができる監視装置および監視方法を提供するものである。
この発明は、監視端末から映像データを取得する映像データ取得部と、映像データ取得部で取得された映像データを蓄積する映像データ蓄積部と、映像データ蓄積部に蓄積されている映像データを再生する映像データ再生部と、監視端末から監視対象に関する情報を示すメタデータを取得するメタデータ取得部と、メタデータ取得部で取得されたメタデータを蓄積するメタデータ蓄積部と、メタデータ蓄積部に蓄積されているメタデータを再生するメタデータ再生部と、映像データとメタデータを共に再生するとき、映像データ再生部で再生される映像データに同期したメタデータをメタデータ再生部で再生させる再生同期部と、少なくとも警報の出力および/または監視端末の撮像動作切替を行うか否かの判断基準をメタデータ毎に示すフィルタ設定を蓄積したフィルタ設定蓄積部と、フィルタ設定蓄積部に蓄積されているフィルタ設定を用いて、メタデータ再生部で再生されたメタデータのフィルタ処理を行うメタデータフィルタ部と、映像データ再生部で再生された映像データに基づく映像と、メタデータ再生部で再生されたメタデータに基づく映像と、メタデータフィルタ部で用いたフィルタ設定を示す映像のいずれか、あるいは複数の映像を合成した映像を用いて、監視結果を示す映像を出力する出力部を有するものである。
この発明において、監視装置で動体の監視を行う場合、監視対象に関する情報には、動体が検出されているか否かを示す動体検知情報や動体の位置を示す動体位置情報を含めるものとする。また、監視端末で監視する領域がどのような状態であるか監視する場合、監視対象に関する情報には、監視映像の輝度を示す情報や温度を示す情報を含めるものとする。
フィルタ設定蓄積部には、監視対象に関する情報に基づいて警報等を行う必要があるか否かの判断基準となるフィルタ設定を、情報毎に蓄積させておく。このフィルタ設定を用いてメタデータのフィルタ処理を行うことで、監視対象に関する情報毎に、警報等を行う必要があることをフィルタ処理結果で示すことができる。このフィルタ処理結果に基づいて監視結果を出力することで、監視対象に関する情報毎の警報等を出力することが可能となる。例えば、動体が検出されたときや、動体が予め設定した領域に入り込んだとき、監視する領域が暗くなったり、温度の異常が生じたときなど、それぞれの状態に対応した警報等を出力させることが可能となる。
また、映像データに基づく映像とメタデータに基づく映像とメタデータフィルタ部で用いたフィルタ設定を示す映像のいずれか、あるいは複数の映像を合成した映像を用いて、監視結果を示す映像の出力が行われるので、グラフィカルに監視結果が表示させることとなり、容易かつ正しく監視結果を認識することが可能となる。
また、監視対象に関する情報をマークアップ言語で記述することにより、監視対象に関する情報の変更や追加を行う場合、フィルタ設定の変更や追加を容易に行うことが可能となる。
この発明によれば、監視端末から映像データと、監視対象に関する情報を示すメタデータが監視装置で取得される。また、監視装置では、フィルタ設定蓄積部に蓄積されたフィルタ設定を用いてメタデータのフィルタ処理が行われて、このフィルタ処理結果に基づいて監視結果の出力が行われる。このため、メタデータに監視対象に関する種々の情報を含めるものとして、フィルタ設定蓄積部には、メタデータに含まれる情報に対応したフィルタ設定を蓄積させておくことで、多様な監視動作を容易に可能として、監視結果を出力させることができる。
以下、図を参照しながら、この発明の実施の一形態について説明する。図1は、監視システム10の構成を示している。監視端末20と監視装置30はネットワーク40を介して接続されている。監視端末20は、監視映像の映像データの生成および監視対象に関する情報を示したメタデータの生成を行う。監視装置30は、監視端末20の遠隔制御や、監視端末20で生成された映像データやメタデータの取得や解析,蓄積および蓄積されている映像の閲覧等を行う。
図2は監視端末の機能ブロック図である。監視端末20は映像データ生成部21とメタデータ生成部23を有している。映像データ生成部21は監視映像の映像データDtを生成する。すなわち、撮像部212は、レンズ部211を介して入射された入射光に基づき、撮像信号Svを生成して撮像信号処理部213に供給する。撮像信号処理部213は、例えばA/D変換やニー補正、プロセス処理等を行い、映像データDvを生成する。
データ処理部214は、監視映像の通信を行う際のデータ量を少なくするため、映像データDvの符号化処理を行って映像データDtを生成する。さらに、データ処理部214は、生成した映像データDtを所定のデータ構造として監視装置30に供給する。
撮像動作切替部22は、監視装置30からの切替指示信号CAに基づき、最適な監視映像が得られるように監視端末20の動作切り替えを行う。例えば、撮像動作切替部22は、制御信号CMaをレンズ部211に供給してズーム比やアイリスの切り替え、制御信号CMbを撮像部212と撮像信号処理部213に供給して監視映像のフレームレートの切り替え、制御信号CMcをデータ処理部214に供給して映像データの圧縮率の切替等を行う。さらに、撮像動作切替部22は、撮像方向の切替等を行う。
メタデータ生成部23は、監視対象に関する情報を示したメタデータDmの生成を行う。例えば、動体を監視対象とする場合、映像データ生成部21で生成された映像データDvを用いて動体の検出を行い、動体が検出されているか否かを示す動体検知情報や、検出された動体がいずれの位置であるかを示す動体位置情報を生成して、この情報を監視対象に関する情報としてメタデータに含めるものとする。さらに、メタデータ生成部23は、動体の種類や状態等に関する情報を監視対象に関する情報として用いるものとしてもよい。
また、監視対象に関する情報は動体に関連した情報に限られるものではなく、監視端末で監視する領域の状態を示す情報であってもよい、例えば監視する領域の温度や明るさ等を示す情報を用いるものとする。また、監視する領域で行われた操作等の情報を用いるものとしてもよい。温度を監視対象とするとき、メタデータ生成部23は、温度測定結果をメタデータに含める。また、明るさを監視対象とするとき、メタデータ生成部23は、映像データ生成部21で生成された映像データDvに基づいて例えば監視映像の平均輝度を判別して、この判別結果をメタデータに含める。さらに、ATM(Automated Teller Machine)やPOS(Point Of Sales)端末等において行われたユーザ操作を監視対象として、メタデータ生成部23は、操作キーや操作パネル等で行われたユーザ操作を示す情報をメタデータに含める。さらに、メタデータ生成部23は、撮像動作切替部22から供給された撮像動作情報QF(例えば監視映像の映像データを生成したときの撮影方向やズーム状態および映像データ生成部の設定状態等を示す情報)や、時刻情報等をメタデータに含めることで、メタデータが生成された時刻や映像データがどのように生成されたものであるかを判別することが可能となる。
図3は、映像データとメタデータのデータ構造を示している。映像データとメタデータは、リンク情報とデータ本体で構成する。データ本体は、映像データの場合、監視映像の映像データである。またメタデータの場合、データ本体は、監視対象を示す情報等と、この情報の記述方式を定義した属性情報を記述したものである。リンク情報は、映像データとメタデータとの関連付けを示す関連付け情報と、この情報の内容の記述方式を定義した属性情報等を記述したものである。
関連付け情報は、例えば映像データを特定するためのタイムスタンプやシーケンス番号を使用する。タイムスタンプは、映像データの生成時刻を与える情報(時刻情報)である。シーケンス番号は、コンテンツデータの生成順序を与える情報(順序情報)であり、タイムスタンプの等しい監視映像が複数存在するような場合、タイムスタンプの等しい映像データの生成順序を識別することができる。また、関連付け情報には、映像データを生成する機器を特定するための情報(例えば製造会社名や機種名、製造番号等)を使用するものとしてもよい。
ここで、リンク情報やメタデータ本体の記述は、Web上で交換される情報を記述する方法として定義されたマークアップ言語を用いる。このように、マークアップ言語を用いるものとすれば、ネットワーク40を介した情報の交換を容易に行うことができる。さらに、マークアップ言語、例えば文書や電子データの交換に利用されているXMLを用いることで、映像データとメタデータの交換も容易に行うことができる。XMLを用いるものとした場合、情報の記述方式を定義した属性情報は、例えばXMLSchemaを使用する。
監視端末20で生成した映像データやメタデータは、1つのストリームとして監視装置30に供給するものとしてもよく、また映像データとメタデータを別のストリームで非同期に監視装置30に供給するものとしてもよい。
図4は監視装置の機能ブロック図である。なお、監視装置の各機能ブロックは、ハードウェアで構成するものとしてもよく、またソフトウェアで構成するものとしてもよい。
監視装置30の映像データ取得部311は、監視端末20から映像データDtを取得する。また、映像データ取得部311は、符号化されている映像データDtの復号化処理を行い、得られた映像データDvを映像データ取得部311に設けられているバッファ(図示せず)に保持する。さらに、映像データ取得部311は、保持している映像データDvを順次出力部323に供給する。このようにバッファに映像データを保持することで、監視端末からの映像データのタイミングに依らず、出力部323に対して順次映像データを供給できる。また、映像データ取得部311は、後述する切替指示部315からの蓄積指示信号CRに基づき、保持している映像データDvを映像データ蓄積部316に蓄積させる。なお、映像データ蓄積部316には、符号化されている映像データDtを蓄積して、後述する映像データ再生部320で復号化を行うものとしてもよい。
メタデータ取得部312は、監視端末20からメタデータDmを取得して、メタデータ取得部312に設けられているバッファ(図示せず)に保持する。また、メタデータ取得部312は、保持しているメタデータDmを出力部323に順次供給する。また、保持しているメタデータDmをメタデータフィルタ部313に供給する処理も行う。このようにバッファにメタデータを保持することで、監視端末からのメタデータのタイミングに依らず、出力部323に対して順次メタデータを供給できる。また、映像データと同期させてメタデータを出力部323に供給できる。さらに、メタデータ取得部312は、監視端末20から取得したメタデータDmをメタデータ蓄積部317に蓄積させる。ここで、メタデータDmをメタデータ蓄積部317に蓄積する際に、メタデータDmと同期する映像データDvの時刻情報を付加しておけば、メタデータDmの内容を読み出して時刻を判別しなくとも、付加されている時刻情報を利用して、所望の時刻のメタデータをメタデータ蓄積部317から読み出すことが可能となる。
メタデータフィルタ部313は、フィルタ設定蓄積部314に蓄積されているフィルタ設定FSを用いて、メタデータ取得部312で取得したメタデータDm、あるいはメタデータ蓄積部317から供給されたメタデータDmpのフィルタ処理を行い、フィルタ処理結果FJを切替指示部315と出力部323に供給する。
フィルタ設定蓄積部314は、フィルタ設定FSを蓄積しており、メタデータフィルタ部313で行うフィルタ処理に応じたフィルタ設定をメタデータフィルタ部313に供給する。このフィルタ設定FSは、警報等の出力や監視端末の撮像動作切替を行う必要があるか否かの判断基準を、メタデータに含まれている監視対象に関する情報毎に示すものである。このフィルタ設定FSを用いてメタデータのフィルタ処理を行うことで、監視対象に関する情報毎に、警報等の出力を行う必要があることや監視端末の撮像動作切替が必要であることをフィルタ処理結果で示すことができる。
切替指示部315は、メタデータフィルタ部313からのフィルタ処理結果FJに基づいて、切替指示信号CAを生成して監視端末20に供給する。例えば、フィルタ処理結果FJに基づき、監視に適した監視映像が得られるように監視端末20の動作を切り替える。また、切替指示部315は、フィルタ処理結果FJに基づき、映像データ蓄積部316に対して蓄積指示信号CRを供給して、映像データ取得部311で取得した映像データDvを映像データ蓄積部316に蓄積させる。
また、切替指示部315では、映像データDvの蓄積モードを選択可能とする。例えば動的検索モードと最小限モードのいずれかを選択可能とする。動的検索モードがユーザによって選択されている場合、切替指示部315は、フィルタ処理結果FJによって動体が検出されていることが示されたとき、映像データ取得部311で取得した映像データDvを映像データ蓄積部316に蓄積させる。また、最小限モードが選択されている場合、切替指示部315は、フィルタ処理結果FJによって注意報や警報の出力を行うような状態が生じたと判別したとき、映像データ取得部311で取得した映像データDvを映像データ蓄積部316に蓄積させる。ここで、動的検索モードが選択されたときには、動体が検出されているときの映像データDvが蓄積される。このため、後述する映像データ再生部320によって、蓄積されている映像データDvを再生して、再生された映像データDvと同期するメタデータに対して所望のフィルタ設定でフィルタ処理を行うものとすれば、このフィルタ設定を満たす映像データを検索できる。また、最小限モードが選択されたときは、注意報や警報の出力を行うような状態の映像データを容易かつ速やかに再生できる。また、蓄積する映像データのデータ量を少なくできる。
映像データ蓄積部316は、映像データ取得部311で取得された映像データDvを蓄積する。またメタデータ蓄積部317は、メタデータ取得部312で取得されたメタデータDmを蓄積する。
映像データ再生部320は、映像データ蓄積部316に蓄積されている映像データDvの再生処理を行う。すなわち、映像データ再生部320は、ユーザによって指示された再生位置から順次映像データを読み出して、読み出した映像データDvpを出力部323に供給する。また、映像データ再生部320は、再生している映像データの再生位置(再生時刻)JSを再生同期部321に供給する。
再生同期部321は、映像データ再生部320から供給された再生位置JSと、メタデータ再生部322で、メタデータ蓄積部317に蓄積されているメタデータを再生するときの再生位置が同期するように、同期制御信号CPをメタデータ再生部322に供給して、メタデータ再生部322の動作を制御する。
メタデータ再生部322は、メタデータ蓄積部317に蓄積されているメタデータDmの再生処理を行う。すなわち、メタデータ再生部322は、ユーザによって指示された再生位置から順次メタデータを読み出して、読み出したメタデータDmpをメタデータフィルタ部313と出力部323に供給する。また、映像データとメタデータの双方を再生する場合、メタデータ再生部322は、上述のように再生同期部321から供給された同期制御信号CPに基づいて再生動作制御して、映像データDvpに同期したメタデータDmpを出力する。
出力部323は、映像データ取得部311から供給された映像データDvや映像データ再生部320から供給された映像データDvp、メタデータ取得部312から供給されたメタデータDmやメタデータ再生部322から供給されたメタデータDmp、メタデータフィルタ部313からのフィルタ設定FSに基づき、監視映像やメタデータの映像やフィルタ設定の映像のいずれか、あるいはこれらを合成した映像を用いて、フィルタ処理結果FJに基づく監視結果を示す映像の表示信号VSを生成して出力する。
制御部325には、操作キーやリモートコントロール信号受信器等で構成されたユーザインタフェース部326が接続されている。ユーザインタフェース部326は、ユーザ操作に応じた操作信号SPを生成して制御部325に供給する。制御部325は、操作信号SPに基づいた制御信号CTを生成して各部に供給することで、監視装置30の動作がユーザ操作に応じた動作となるように制御する。
次に各部をソフトウェアで構成した場合の動作についてフローチャートを用いて説明する。
図5は、制御部の動作を示している。ステップST1で制御部325は、監視動作の開始指示を行う。この監視動作の開始指示によって、映像データ再生部320とメタデータ再生部322を除く各部の動作を開始させてステップST2に進む。
ステップST2で制御部325は、フィルタ設定が完了しているか否かを判別する。制御部325は、メタデータフィルタ部313に対するフィルタ設定が完了していないときステップST3に進み、フィルタ設定が完了しているときステップST4に進む。
ステップST3で制御部325は、フィルタ設定を行う。フィルタ設定では、例えば表示装置の画面上に、メタデータフィルタ部313に対するフィルタ設定が完了していない旨の表示を行う。その後、ユーザインタフェース部326から供給された操作信号SPに基づき、ユーザ操作に応じたフィルタ設定をメタデータフィルタ部313に設定してステップST4に進む。
ステップST4で制御部325は、監視モードから再生モードへの切替指示が行われたか否かを判別する。監視モードとは、映像データ取得部311に保持されている映像データやメタデータ取得部312に保持されているメタデータに基づく映像を出力部323から出力させる動作モードを示している。また、再生モードとは、映像データ再生部320で再生された映像データやメタデータ再生部322で再生されたメタデータに基づく映像を出力部323から出力させる動作モードを示している。
制御部325は、ユーザインタフェース部326からの操作信号SPに基づき再生モードへの切替指示が行われた判別したときステップST5に進み、切替指示が行われたと判別されないときはステップST16に進む。
ステップST5で制御部325は、再生位置の指定がなされた否かを判別する。制御部325は、再生位置の指定がなされていないときステップST5に戻り、操作信号SPによって再生位置の指定がなされたときステップST6に進む。
ステップST6で制御部325は、再生モードにおけるフィルタ設定が完了しているか否かを判別する。制御部325は、メタデータフィルタ部313に対するフィルタ設定が完了していないときステップST7に進み、フィルタ設定が完了しているときステップST8に進む。
ステップST7で制御部325は、ステップST3と同様にフィルタ設定を行いステップST8に進む。
ステップST8で制御部325は、再生開始指示を行いステップST9に進む。すなわち、制御部325は、映像データ再生部320や再生同期部321およびメタデータ再生部322の動作を開始させて、ステップST5で指定されていると判別した再生位置から映像データやメタデータの再生を行わせる。
ステップST9で制御部325は、表示切替指示を行いステップST10に進む。すなわち、制御部325は、表示切替指示を出力部323に対して行い、映像データ再生部320で再生された映像データに基づく映像と、メタデータ再生部322で再生されたメタデータに基づく映像と、メタデータフィルタ部313のフィルタ設定に基づいた映像を合成した映像の表示信号VSを出力部323から出力させる。
ステップST10で制御部325は、再生モードの終了操作が行われたか否かを判別する。制御部325は、供給された操作信号SPが再生モードの終了操作を示していないときステップST11に進み、再生モードの終了操作を示しているときステップST14に進む。
ステップST11で制御部325は、終了操作が行われたか否かを判別する。制御部325は、供給された操作信号SPが再生モードの終了操作を示していないときステップST12に進み、再生モードの終了操作を示しているとき監視装置30の動作を終了する。
ステップST12で制御部325は、変更操作がなされたか否かを判別する。制御部325は、供給された操作信号SPが変更操作を示していないときステップST10に戻り、変更操作を示しているときステップST13に進む。
ステップST13で制御部325は、変更操作に応じた変更指示を行いステップST10に戻る。例えば、制御部325は、再生位置を変更する変更操作が行われたとき、変更後の再生位置から再生動作を行うことができるように、映像データ再生部320やメタデータ再生部322に対して指示を行う。また、フィルタ設定を変更する変更操作が行われたとき、変更後のフィルタ設定でフィルタ処理を行うことができるように、メタデータフィルタ部313に対して指示を行う。
ステップST10からステップST14に進むと、制御部325は、監視モードへの切替指示を行いステップST15に進む。すなわち、制御部325は、映像データ再生部320や再生同期部321、メタデータ再生部322の動作を終了させる。また、制御部325は、メタデータフィルタ部313のフィルタ設定を、監視モードのフィルタ設定に戻す。
ステップST15で制御部325は、表示切替指示を行いステップST16に進む。すなわち、制御部325は、表示切替指示によって出力部323を制御して、映像データ取得部311からの映像データに基づく映像と、メタデータ取得部312からのメタデータに基づく映像と、メタデータフィルタ部313のフィルタ設定に基づいた映像を合成した映像を表示する表示信号を生成して、出力部323から出力させる。
ステップST16で制御部325は、終了操作が行われたか否かを判別する。制御部325は、供給された操作信号SPが終了操作を示していないときステップST17に進み、終了操作を示したとき監視装置の動作を終了する。
ステップST17で制御部325は、変更操作がなされたか否かを判別する。制御部325は、供給された操作信号SPが変更操作を示していないときステップST4に戻り、変更操作を示しているときステップST18に進む。
ステップST18で制御部325は、変更操作に応じた変更指示を行いステップST4に戻る。例えば、制御部325は、フィルタ設定を変更する変更操作が行われたとき、変更後のフィルタ設定でフィルタ処理を行うことができるように、メタデータフィルタ部313に対して指示を行う。
図6は、映像データ取得部の動作を示すフローチャートである。ステップST21で映像データ取得部311は、映像データ取得処理を行う。すなわち、映像データ取得部311は、監視端末20に対する映像データの要求や監視端末20とのセッションを確立してステップST22に進む。
ステップST22で映像データ取得部311は、監視端末20から映像データが供給されたか否かを判別する。映像データ取得部311は、映像データが供給されたときステップST23に進み、映像データが供給されていないときステップST26に進む。
ステップST23で映像データ取得部311は、映像データのバッファ処理を行いステップST24に進む。このバッファ処理において、映像データ取得部311は、監視端末20から供給された映像データを保持する。さらに、映像データ取得部311は、保持している映像データを出力部323に供給する。
ステップST24で映像データ取得部311は、切替指示部315から蓄積指示が供給されたか否かを判別する。映像データ取得部311は、蓄積指示信号CRが供給されたときステップST25に進み、蓄積指示信号CRが供給されていないときはステップST26に進む。
ステップST25で映像データ取得部311は、映像データ蓄積処理を行い、保持している映像データを映像データ蓄積部316に蓄積させてステップST26に進む。
ステップST26で映像データ取得部311は、制御部325から終了指示が供給されたか否かを判別する。映像データ取得部311は、制御部325から終了指示が供給されていないときステップST27に進み、制御部325から終了指示が供給されたときは、動作を終了する。
ステップST27で映像データ取得部311は、監視端末20とのセッションが切断されているか否かを判別する。映像データ取得部311は、セッションが切断されていないときステップST22に戻る。また、セッションが切断されているときステップST21に戻り、再度セッションを確立して映像データの取得を行う。
図7は、メタデータ取得部の動作を示すフローチャートである。ステップST31でメタデータ取得部312は、メタデータ取得処理を行う。すなわち、監視端末20に対するメタデータの要求や監視端末20とのセッションを確立してステップST32に進む。
ステップST32でメタデータ取得部312は、監視端末20からメタデータが供給されたか否かを判別する。メタデータ取得部312は、メタデータが供給されたときステップST33に進み、メタデータが供給されていないときステップST36に進む。
ステップST33でメタデータ取得部312は、メタデータのバッファ処理を行いステップST34に進む。このバッファ処理において、メタデータ取得部312は、監視端末20から供給されたメタデータを保持する。さらに、メタデータ取得部312は、保持しているメタデータを出力部323に供給する。
ステップST34でメタデータ取得部312は、保持しているメタデータをメタデータフィルタ部313に出力してステップST35に進む。
ステップST35でメタデータ取得部312は、保持しているメタデータをメタデータ蓄積部317に蓄積させてステップST36に進む。
ステップST36でメタデータ取得部312は、制御部325から終了指示が供給されたか否かを判別する。メタデータ取得部312は、制御部325から終了指示が供給されていないときステップST37に進み、制御部325から終了指示が供給されたときは、動作を終了する。
ステップST37でメタデータ取得部312は、監視端末20とのセッションが切断されているか否かを判別する。メタデータ取得部312は、セッションが切断されていないときステップST32に戻る。また、セッションが切断されているときステップST31に戻り、再度セッションを確立してメタデータの取得を行う。
図8は、メタデータフィルタ部の動作を示すフローチャートである。ステップST41でメタデータフィルタ部313は、メタデータが供給されたか否かを判別する。メタデータフィルタ部313は、メタデータが供給されていないときステップST41に戻り、メタデータが供給されたときステップST42に進む。
ステップST42でメタデータフィルタ部313は、メタデータのフィルタ処理を行いステップST43に進む。
ステップST43でメタデータフィルタ部313は、フィルタ処理結果の通知が必要か否かを判別する。メタデータフィルタ部313は、通知が必要でないと判別したときステップST41に戻り、通知が必要と判別したときステップST44に進む。例えば、注意報や警報の出力が必要ないと判別したときはステップST41に戻り、注意報や警報の出力が必要と判別したときステップST44に進む。
ステップST44でメタデータフィルタ部313は、フィルタ処理結果の通知を行う。すなわち、メタデータフィルタ部313は、フィルタ処理結果を切替指示部315や出力部323に供給してステップST45に進む。
ステップST45でメタデータフィルタ部313は、制御部325から終了指示が供給されたか否かを判別する。メタデータフィルタ部313は、制御部325から終了指示が供給されていないときステップST41に戻り、制御部325から終了指示が供給されたときは、動作を終了する。
図9は、切替指示部の動作を示すフローチャートである。ステップST51で切替指示部315は、メタデータフィルタ部313からフィルタ処理結果が通知されたか否かを判別する。切替指示部315は、通知がないときステップST51に戻り、通知があったときステップST52に進む。
ステップST52で切替指示部315は、フィルタ処理結果の内容判別を行ってステップST53に進む。
ステップST53で切替指示部315は、切替指示の出力処理を行う。すなわち、切替指示部315は、内容判別の結果に基づいた切替指示を生成して出力する。例えば、映像データ取得部311に対して、取得した映像データを映像データ蓄積部316に蓄積させる蓄積指示信号CRを供給する。また、監視に適した監視映像の映像データが監視端末20で生成されるように、監視端末20に対して切替指示信号CAを供給する。
ステップST54で切替指示部315は、制御部325から終了指示が供給されたか否かを判別する。切替指示部315は、制御部325から終了指示が供給されていないときステップST51に戻り、制御部325から終了指示が供給されたときは、動作を終了する。
図10は、映像データ再生部の動作を示すフローチャートである。ステップST61で映像データ再生部320は、再生位置の設定を行う。すなわち、映像データ再生部320は、ユーザインタフェース部326を介してユーザによって指定された位置を再生位置に設定してステップST62に進む。
ステップST62で映像データ再生部320は、再生動作を開始して、映像データ蓄積部316に蓄積されている映像データを再生位置から順次読み出して出力部323に供給する。
ステップST63で映像データ再生部320は、再生されている映像データの再生位置を再生同期部321に通知してステップST64に進む。
ステップST64で映像データ再生部320は、映像データが終了した否かを判別する。映像データ再生部320は、映像データが終了していないときステップST65に進み、映像データが終了したとき動作を終了する。
ステップST65で映像データ再生部320は、制御部325から終了指示が供給されたか否かを判別する。映像データ再生部320は、制御部325から終了指示が供給されていないときステップST63に戻り、制御部325から終了指示が供給されたときは、動作を終了する。
図11は、再生同期部の動作を示すフローチャートである。ステップST71で再生同期部321は、映像データ再生部320から映像データの再生位置を取得してステップST72に進む。
ステップST72で再生同期部321は、メタデータ再生部322におけるメタデータの再生位置を判別してステップST73に進む。
ステップST73で再生同期部321は、メタデータの再生位置が映像データの再生位置よりも進んでいるか否かを判別する。再生同期部321は、メタデータの再生位置が映像データの再生位置よりも進んでいるときステップST74に進み、映像データの再生位置よりも進んでいないときステップST75に進む。
ステップST74で再生同期部321は、メタデータの再生位置を映像データの再生位置に同期させる再生位置同期処理を行ってステップST77に進む。再生同期部321は、メタデータ再生部322に対して再生位置を同期させるための同期制御信号CPを供給して、例えばメタデータの再生を一時停止して、映像データの再生位置がメタデータの再生位置と等しくなったとき再生を開始する。あるいは、メタデータの再生位置を映像データの再生位置に戻して再生位置を同期させる。
ステップST75で再生同期部321は、メタデータの再生位置が映像データの再生位置よりも遅れているか否かを判別する。再生同期部321は、メタデータの再生位置が映像データの再生位置よりも遅れているときステップST76に進み、映像データの再生位置よりも遅れていないときステップST77に進む。
ステップST76で再生同期部321は、メタデータの再生位置を映像データの再生位置に同期させる再生位置同期処理を行ってステップST77に進む。すなわち再生同期部321は、メタデータ再生部322に対して同期制御信号CPを供給して、例えばメタデータの再生位置を映像データの再生位置に進めて再生位置を同期させる。
ステップST77で再生同期部321は、制御部325から終了指示が供給されたか否かを判別する。再生同期部321は、制御部325から終了指示が供給されていないときステップST71に戻り、制御部325から終了指示が供給されたときは、動作を終了する。
図12は、メタデータ再生部の動作を示すフローチャートである。ステップST81でメタデータ再生部322は、再生位置の設定を行う。すなわち、メタデータ再生部322は、ユーザインタフェース部326を介してユーザによって指定された位置を再生位置に設定してステップST82に進む。
ステップST82でメタデータ再生部322は、再生動作を開始して、メタデータ蓄積部317に蓄積されているメタデータを再生位置から順次読み出して出力部323に供給する。
ステップST83でメタデータ再生部322は、再生同期部321から再生同期指示が行われたか否かを判別する。メタデータ再生部322は、再生同期部321から同期制御信号CPが供給されて再生同期指示がなされたときステップST84に進み、再生同期指示がなされていないときステップST85に進む。
ステップST84でメタデータ再生部322は、再生同期部321からの再生同期指示に基づき再生動作の切替処理を行ってステップST85に進む。例えば同期制御信号CPに基づき再生動作を一時停止したり、再生位置を進めるように動作切替を行い、メタデータの再生位置を映像データの再生位置に同期させる。
ステップST85でメタデータ再生部322は、メタデータが終了した否かを判別する。メタデータ再生部322は、メタデータが終了していないときステップST86に進み、メタデータが終了したとき動作を終了する。
ステップST86でメタデータ再生部322は、制御部325から終了指示が供給されたか否かを判別する。メタデータ再生部322は、制御部325から終了指示が供給されていないときステップST83に戻り、制御部325から終了指示が供給されたときは、動作を終了する。
図13は、出力部の動作を示すフローチャートである。ステップST91で出力部323は、監視モードと再生モードのいずれに設定されているか判別する。出力部323は、監視モードに設定されているときステップST92に進み、監視モードに設定されていないとき、すなわち再生モードに設定されているときステップST94に進む。
ステップST92で出力部323は、映像データ取得部311からの映像データを取得してステップST93に進む。ステップST93で出力部323は、メタデータ取得部312からのメタデータを取得してステップST96に進む。
ステップST94で出力部323は、映像データ再生部320からの映像データを取得してステップST95に進む。ステップST95で出力部323は、メタデータ再生部322からのメタデータを取得してステップST96に進む。
ステップST96で出力部323は、メタデータフィルタ部313に設定されているフィルタ設定とフィルタ処理結果を取得してステップST97に進む。
ステップST97で出力部323は、映像合成処理を行ってステップST98に進む。この映像合成処理では、映像データに基づいた監視映像上にメタデータに基づく映像やフィルタ設定の映像、フィルタ処理結果基づく映像を合成させる。
ステップST98で出力部323は、表示出力を行い、映像合成処理で得られた映像信号を映像表示装置に出力してステップST99に進む。
ステップST99で出力部323は、データが終了した否かを判別する。出力部323は、データが終了していないときステップST100に進み、データが終了したとき動作を終了する。
ステップST100で出力部323は、制御部325から終了指示が供給されたか否かを判別する。出力部323は、制御部325から終了指示が供給されていないときステップST91に戻り、制御部325から終了指示が供給されたときは、動作を終了する。
次に、監視システムの動作について説明する。監視システム10では、監視端末20で生成されたメタデータを監視装置30で取得する。監視装置30は、取得したメタデータを用いてフィルタ処理を行い、フィルタ処理結果に基づいて自己の動作や監視端末20の動作切替を行う。
フィルタ設定蓄積部314には、メタデータDmに含まれている監視対象を示す情報に対応したフィルタ設定FSを蓄積させておく。例えば、メタデータDmに動体が検出されたか否かを示す動体検知情報が含まれる場合、ユーザは動体検知情報を検出するフィルタ設定を蓄積させるものとして、このフィルタ設定を用いることで、動体が検出された否かを示すフィルタ処理結果を得られるようにする。また、メタデータDmに動体の位置を示す情報が含まれている場合、ユーザは、予め設定した領域を示すフィルタ設定を蓄積させておき、このフィルタ設定を用いることで、動体がユーザの設定した領域内に入った否かを示すフィルタ処理結果を得られるようにする。また、予め設定した領域の外側に注意領域を設定して注意領域を示すフィルタ設定を蓄積させておき、このフィルタ設定を用いることで、動体がユーザの設定した領域に近づいたか否かを示すフィルタ処理結果を得られるようにする。メタデータDmに温度を示す情報が含まれている場合、ユーザは、温度の閾値をフィルタ設定として蓄積させておき、このフィルタ設定を用いることで、監視端末20が設けられている場所の温度が例えば閾値を超えているか否かを示すフィルタ処理結果を得られるようにする。メタデータDmに監視画像の輝度を示す情報が含まれている場合、ユーザは、輝度の閾値をフィルタ設定として蓄積させておき、このフィルタ設定を用いることで、監視映像が閾値よりも暗いか否か等を示すフィルタ処理結果を得られるようにする。さらに、メタデータDmにユーザ操作を示す情報が含まれている場合、所定の操作をフィルタ設定として蓄積させておき、このフィルタ設定を用いることで、所定の操作が行われたか否か等を示すフィルタ処理結果を得られるようにすることもできる。
ここで、フィルタ処理結果FJに基づいて監視装置30の動作切替を行う場合について説明する。監視装置30が監視モードに設定されている場合、メタデータフィルタ部313は、メタデータ取得部312から供給されたメタデータDmのフィルタ処理を行い、フィルタ処理結果FJを切替指示部315と出力部323に供給する。切替指示部315は、フィルタ処理結果FJに基づいて、監視映像を蓄積する必要があると判別したとき、映像データ取得部311に蓄積指示信号CRを供給して、取得した映像データを映像データ蓄積部316に蓄積させる。また、出力部323は、フィルタ処理結果FJに基づいて注意報や警報の出力を行う。
切替指示部315が動的アラームモードに設定されている場合、動体が検出されていることをフィルタ処理結果が示すとき、切替指示部315は、映像データ取得部311に対して蓄積指示信号CRを供給して、映像データ取得部311で取得した映像データを映像データ蓄積部316に蓄積させる。
このように、動体が検出されていることをフィルタ処理結果が示すとき、映像データを映像データ蓄積部316に蓄積させるものとすれば、動体が検出されている期間の映像データが映像データ蓄積部316に蓄積される。したがって、動体の確認をする必要のない期間の映像データが映像データ蓄積部316に蓄積されないので、映像データ蓄積部316に効率よく映像データを蓄積させることができる。
切替指示部315が最小限モードに設定されている場合、動体の位置が予めユーザの設定した領域に近づいたことをフィルタ処理結果が示すとき、あるいは動体の位置が予めユーザの設定した領域内となったことをフィルタ処理が示すとき、切替指示部315は映像データ取得部311に対して蓄積指示信号CRを供給して、映像データ取得部311で取得した映像データを映像データ蓄積部316に蓄積させる。
このように、動体の位置が予めユーザの設定した領域に近づいたことや、設定した領域内となったことをフィルタ処理結果が示すとき、映像データを映像データ蓄積部316に蓄積させるものとすれば、動体の位置が予めユーザの設定した領域に近づいて注意報を出力するような期間、あるいは動体の位置が予めユーザの設定した領域内となって警報を出力するような期間の映像データが映像データ蓄積部316に蓄積される。したがって、注意報や警報を出力するような状態での映像データのみを映像データ蓄積部316に蓄積させることができるので、映像データ蓄積部316に対して、さらに効率よく映像データを蓄積させることができる。
また、動体の位置が予めユーザの設定した領域に近づいたとき映像データの蓄積を開始すれば、その後、動体の位置が予めユーザの設定した領域内となって警報を出力する場合が生じたときに、警報が出力される直前の監視映像を確認することが可能となる。
さらに、後述するように切替指示部315によって監視端末20撮像動作の切替指示を行い、監視に適した監視映像を得るものとする場合、例えば動体の位置が予めユーザの設定した領域に近づいたときに映像データの蓄積や撮像動作の切替指示を行うものとしてもよい。ここで、動体の位置が予めユーザの設定した領域内となって警報を出力するときに、撮像動作の切り替えや映像データの蓄積を行うと、撮像動作の切り替えによって、警報の出力時の監視映像を蓄積できないおそれがある。しかし、動体の位置が予めユーザの設定した領域に近づいたときに映像データの蓄積や撮像動作の切替指示を行うものとすれば、その後、動体の位置が予めユーザの設定した領域内となったときには、監視に適した監視映像が得られるので、警報の出力時の監視映像を監視に適した映像として蓄積させることもできる。
次に、フィルタ処理結果に基づいて表示切替動作を行う場合について説明する。出力部323は、監視モードであるとき、映像データ取得部311から供給された映像データDv、メタデータ取得部312から供給されたメタデータDm、メタデータフィルタ部313から供給されたフィルタ設定FSに基づき、監視映像やメタデータおよびフィルタ設定のいずれか、あるいはこれらを合成して表示装置の画面上に表示するための表示信号VSを生成する。また、出力部323は、メタデータフィルタ部313のフィルタ処理結果FJに基づいて表示切替を行う。
図14は、監視映像とメタデータの映像およびフィルタ設定の映像を個々に示している。図14Aは映像データに基づいた監視映像である。図14Bはメタデータの映像を例示しており、メタデータに動体位置情報が含まれているとき、この動体位置情報に基づく動体位置表示HPである。なお破線は動体MBを示している。図14Cはフィルタ設定の映像を例示している。台形状の領域PAや境界線LNから矢印方向の領域PBは、注意報や警報の出力を行うか否かの区分領域である。
出力部323は、監視映像とメタデータの映像およびフィルタ設定の映像を合成して図15Aに示す合成映像の表示信号VSを生成して出力する。ここで、動体MBが移動して、動体MBの位置が予めユーザの設定した領域に近づいたことをフィルタ処理結果が示したとき、出力部323は表示切替を実施して、監視結果である注意報の出力を行う。動体MBの位置は動体位置情報で判別できることから、例えば図15Bに示すように、動体MBが領域PBに近づいたとき、動体MBの位置に矩形状の点線表示である注意報HWを表示する。また、動体MBの位置が予めユーザの設定した領域内となったことをフィルタ処理結果が示したとき、出力部323は表示切替を実施して、監視結果である警報の出力を行う。例えば図15Cに示すように、動体MBが領域PBに入ったとき、動体MBの位置に矩形状の線表示である警報HAを表示する。また、図15Dに示すように、動体MBが領域PAに入ったとき、動体MBの位置に矩形状の線表示である警報HAを表示する。このように、監視結果である注意報HWや警報HAをグラフィカルに表示することで、表示信号VSに基づく映像によって監視結果を容易かつ正しく認識することができる。
また、出力部323は、温度や輝度および異常操作等に関するフィルタ処理結果が示されたとき、これらの情報に関する注意報や警報を文字や図形等で出力するものとしてもよい。
次に、監視装置30が再生モードに設定されている場合について説明する。メタデータフィルタ部313は、メタデータ再生部322から供給されたメタデータDmpのフィルタ処理を行い、フィルタ処理結果FJを出力部323に供給する。出力部323は、映像データ再生部320から供給された映像データDvp、メタデータ再生部322から供給されたメタデータDmp、メタデータフィルタ部313から供給されたフィルタ設定FSに基づき、監視映像やメタデータおよびフィルタ設定のいずれか、あるいはこれらを合成して表示装置の画面上に表示するための表示信号VSを生成する。また、出力部323は、メタデータフィルタ部313のフィルタ処理結果FJに基づいて表示切替を行う。
映像データ再生部320は、ユーザによって指示された位置から映像データの再生を行い、映像データ蓄積部316から読み出した映像データDvpを出力部323に供給する。また、再生同期部321が設けられていることから、映像データDvpに同期したメタデータがメタデータ再生部322によってメタデータ蓄積部317から読み出されて出力部323に供給される。
出力部323は、再生した監視映像と再生したメタデータの映像およびフィルタ設定の映像を合成して表示信号VSを生成して出力する。ここで、動体の位置が予めユーザの設定した領域に近づいたことや、設定した領域内であることをフィルタ処理結果が示しているときは、監視モードの場合と同様に、注意報や警報を出力する。
また、異常操作が行われたか否かを判別できるように、ユーザがフィルタ設定を行った場合、メタデータフィルタ部313のフィルタ処理結果に基づき、異常操作が行われた位置で注意報や警報を出力させることもできる。さらに、ユーザが設定した文字情報等に基づいてメタデータのフィルタ処理を行うものとすれば、メタデータに該当する情報が含まれた位置で注意報や警報を出力させることもできる。
このように、メタデータのフィルタ処理を行うものとすれば、監視対象の情報を変更したり監視対象の情報を増やす場合でも、フィルタ設定と、このフィルタ設定を用いたときのフィルタ処理結果に応じた切替指示を設定するだけで、種々の監視対象の情報を利用して多様な監視動作を容易に行うことができる。
また、種々のフィルタ設定を設けておくことで、多種多様な通知を行うことができる。例えば、上述のように動体が予め設定した領域に近づいたときには注意報の出力を行い、領域に入ったときに警報を出力させることができるので、詳細な監視動作を容易に行うことができる。
さらに、メタデータでは、マークアップ言語で監視対象の情報の記述を行っていることから、メタデータフィルタ部やメタデータ再生部は、マークアップ言語を読み取る機能を有すればよい。したがって、メタデータのフォーマット毎にメタデータフィルタ部やメタデータ再生部を設ける必要がないので、監視装置の構成が簡単となる。また、メタデータのフォーマットに依存することなく所望の監視対象の情報を再生したりフィルタ処理を行うことができるので、様々なメタデータを監視映像に同期させて再生することができる。
また、監視装置30では、監視装置30が再生モードに設定されている場合、ユーザによって指示された位置から映像データの再生を映像データ再生部320で行い、メタデータ再生部322では、映像データDvpに同期したメタデータを再生するものとしている。しかし、メタデータ蓄積部317には、監視対象に関する種々の情報が蓄積可能とされており、メタデータ再生部322では、蓄積されているメタデータの情報が再生可能とされていることから、ユーザによって指示された情報をメタデータ再生部322によって再生させて、映像データ再生部320では、再生されるメタデータの情報に同期した映像データを再生するようにしてもよい。この場合、メタデータ再生部322は、再生したメタデータの再生位置を再生同期部321に通知する。再生同期部321は、メタデータ再生部322から通知された再生位置と、映像データ再生部320で映像データ蓄積部316に蓄積されている映像データを再生するときの再生位置が同期するように、同期制御信号を映像データ再生部320に供給して、映像データ再生部320の動作を制御する。
このようにすれば、ユーザは、映像データに対して再生位置を指定して監視映像の確認等を行うことができるだけでなく、メタデータの所望の情報を選択して再生させることで、この情報に同期した監視映像が自動的に再生されて、監視映像の確認を行うことが可能となる。また、所望の情報を選択して再生させることで、この再生される情報に基づいた注意報や警報を出力させることもできる。なお、監視モードや再生モードにおける注意報や警報の出力は、出力部によってグラフィカルに表示する場合に限られるものではなく、音声で注意報や警報を出力するものとしたり、発光素子等の表示デバイスを用いて注意報や警報を表示するものとしてもよい。
ところで、フィルタ処理結果に基づいた動作切替は、監視装置30だけでなく監視端末20に対しても行うことができる。以下、フィルタ処理結果に基づいて監視端末20の動作切替を行う場合を簡単に説明する。
メタデータフィルタ部313は、メタデータ取得部312から供給されたメタデータDmのフィルタ処理を行い、フィルタ処理結果FJを切替指示部315に供給する。切替指示部315は、フィルタ処理結果FJに基づいて、切替指示信号CAを生成して監視端末20に供給する。ここで、切替指示部315は、例えば監視映像のフレームレートを高くするように監視端末20の動作を切り替える。このとき、各監視映像の時間間隔が短くなることから、動体の動きを詳細な時間間隔で監視することができる。また、動体が検出されていないときは、監視映像のフレームレートが低いので、監視端末20から監視装置30への映像データの供給回数が少なくなる。したがって、監視端末20を複数用いた場合に、ネットワーク40のトラフィックが増大して監視端末20から監視装置30への映像データの供給が遅延してしまうことを防止できる。また、切替指示部315は、圧縮率を低くすることで、監視映像の画質の劣化を少なくできるので、画質の良好な映像で動体の確認を行うことができる。また、動体が検出されていないときは、圧縮率が高いので、データ量が少ないことから、監視端末20を複数用いた場合に、ネットワーク40のトラフィックが増大して監視端末20から監視装置30への映像データの供給が遅延してしまうことを防止できる。
監視映像が明るすぎる状態あるいは暗すぎる状態であることをフィルタ処理結果が示すとき、切替指示部315は、撮像動作切替部22によって、レンズ部211や撮像部212あるいは撮像信号処理部213の動作を制御して、所望の明るさの監視映像が得られるように切替指示信号CAを生成して監視端末20に供給する。このように切替指示信号CAを生成すれば、監視端末20から供給される監視映像を自動的に適正な明るさとすることができる。
異常操作が行われたことをフィルタ処理結果が示すとき、切替指示部315は、撮像動作切替部22によって、レンズ部211の動作や撮像方向を制御して、異常操作が行われた方向の監視映像を得られるように切替指示信号CAを生成して監視端末20に供給する。このように切替指示信号CAを生成すれば、監視端末20を効率よく活用して監視に適した監視映像を得ることができる。
以上のように、メタデータのフィルタ処理結果に基づいて監視端末20の動作切替を行うことで、監視に適した監視映像を自動的に得ることができる。また、メタデータのフィルタ処理結果を用いることで、監視対象の情報を変更したり監視対象の情報を増やす場合でも、フィルタ設定とこのフィルタ設定を用いたときのフィルタ処理結果に応じた切替指示信号CAの生成を行うだけで、変更後の監視対象の情報や追加した監視対象の情報に基づく最適な監視映像を自動的に得ることができる。
監視システムの構成を示す図である。 監視端末の機能ブロック図である。 データ構造を示す図である。 監視装置の機能ブロック図である。 制御部の動作を示すフローチャートである。 映像データ取得部の動作を示すフローチャートである。 メタデータ取得部の動作を示すフローチャートである。 メタデータフィルタ部の動作を示すフローチャートである。 切替指示部の動作を示すフローチャートである。 映像データ再生部の動作を示すフローチャートである。 再生同期部の動作を示すフローチャートである。 メタデータ再生部の動作を示すフローチャートである。 出力部の動作を示すフローチャートである。 監視映像とメタデータに基づく映像とフィルタ設定の映像を示す図である。 出力部から出力される映像を示す図である。
符号の説明
10・・・監視システム、20・・・監視端末、21・・・映像データ生成部、22・・・撮像動作切替部、23・・・メタデータ生成部、30・・・監視装置、40・・・ネットワーク、211・・・レンズ部、212・・・撮像部、213・・・撮像信号処理部、214・・・データ処理部、311・・・映像データ取得部、312・・・メタデータ取得部、313・・・メタデータフィルタ部、314・・・フィルタ設定蓄積部、315・・・切替指示部、316・・・映像データ蓄積部、317・・・メタデータ蓄積部、320・・・映像データ再生部、321・・・再生同期部、322・・・メタデータ再生部、323・・・出力部、325・・・制御部、326・・・ユーザインタフェース部

Claims (8)

  1. 監視端末から映像データを取得する映像データ取得部と、
    前記映像データ取得部で取得された前記映像データを蓄積する映像データ蓄積部と、
    前記映像データ蓄積部に蓄積されている映像データを再生する映像データ再生部と、
    前記監視端末から監視対象に関する情報を示すメタデータを取得するメタデータ取得部と、
    前記メタデータ取得部で取得された前記メタデータを蓄積するメタデータ蓄積部と、
    前記メタデータ蓄積部に蓄積されているメタデータを再生するメタデータ再生部と、
    前記映像データと前記メタデータを共に再生するとき、前記映像データ再生部で再生される映像データに同期したメタデータを前記メタデータ再生部で再生させる再生同期部と、
    少なくとも警報の出力および/または前記監視端末の撮像動作切替を行うか否かの判断基準を前記メタデータ毎に示すフィルタ設定を蓄積したフィルタ設定蓄積部と、
    前記フィルタ設定蓄積部に蓄積されているフィルタ設定を用いて、前記メタデータ再生部で再生されたメタデータのフィルタ処理を行うメタデータフィルタ部と、
    前記映像データ再生部で再生された映像データに基づく映像と、前記メタデータ再生部で再生されたメタデータに基づく映像と、前記メタデータフィルタ部で用いたフィルタ設定を示す映像のいずれか、あるいは複数の映像を合成した映像を用いて、前記監視結果を示す映像を出力する出力部を有する監視装置。
  2. 前記メタデータは、前記監視端末内において当該監視端末により撮像された前記映像データを用いて生成されたものである
    請求項1に記載の監視装置。
  3. 前記映像データ取得部は、前記メタデータフィルタ部でフィルタ処理を行うことにより得られたフィルタ処理結果に基づいて、前記取得した映像データを前記映像データ蓄積部に蓄積させ
    求項記載の監視装置。
  4. 前記映像データ取得部と前記メタデータ取得部は、ネットワークを介して前記監視端末から前記映像データと前記メタデータを取得す
    求項1記載の監視装置。
  5. 前記メタデータでは、監視対象に関する情報をマークアップ言語で記述し
    求項1記載の監視装置。
  6. 前記監視対象に関する情報は、動体が検出されているか否かを示す動体検知情報、および/または検出された動体の位置を示す動体位置情報を有す
    求項1記載の監視装置。
  7. 前記監視対象に関する情報は、前記監視端末で監視する領域の状態を示す情報を有す
    求項1記載の監視装置。
  8. 監視端末から映像データを取得する映像データ取得工程と、
    前記映像データ取得工程で取得した前記映像データを蓄積する映像データ蓄積工程と、
    前記映像データ蓄積工程で蓄積した映像データを再生する映像データ再生工程と、
    前記監視端末から監視対象に関する情報を示すメタデータを取得するメタデータ取得工程と、
    前記メタデータ取得工程で取得した前記メタデータを蓄積するメタデータ蓄積工程と、
    前記メタデータ蓄積工程で蓄積したメタデータを再生するメタデータ再生工程と、
    前記映像データと前記メタデータを共に再生するとき、前記映像データ再生工程で再生される映像データに同期したメタデータを前記メタデータ再生工程で再生させる再生同期工程と、
    少なくとも警報の出力および/または前記監視端末の撮像動作切替を行うか否かの判断基準を前記メタデータ毎に示すフィルタ設定を蓄積したフィルタ設定蓄積工程と、
    前記フィルタ設定蓄積工程で蓄積したフィルタ設定を用いて、前記メタデータ再生工程で再生されたメタデータのフィルタ処理を行うメタデータフィルタ工程と、
    前記映像データ再生工程で再生された映像データに基づく映像と、前記メタデータ再生工程で再生されたメタデータに基づく映像と、前記メタデータフィルタ工程で用いたフィルタ設定を示す映像のいずれか、あるいは複数の映像を合成した映像を用いて、前記監視結果を示す映像を出力する出力工程を有する監視方法。
JP2006102291A 2006-04-03 2006-04-03 監視装置と監視方法 Expired - Fee Related JP4321541B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006102291A JP4321541B2 (ja) 2006-04-03 2006-04-03 監視装置と監視方法
US11/730,365 US8934012B2 (en) 2006-04-03 2007-03-30 Apparatus and method for monitoring video data and metadata
KR1020070031502A KR101377221B1 (ko) 2006-04-03 2007-03-30 감시 장치와 감시 방법
TW096111652A TWI387344B (zh) 2006-04-03 2007-04-02 監視裝置以及方法
EP07251467A EP1843305A3 (en) 2006-04-03 2007-04-02 Monitoring apparatus and method
CNA2007100895933A CN101052123A (zh) 2006-04-03 2007-04-03 监控设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006102291A JP4321541B2 (ja) 2006-04-03 2006-04-03 監視装置と監視方法

Publications (2)

Publication Number Publication Date
JP2007281615A JP2007281615A (ja) 2007-10-25
JP4321541B2 true JP4321541B2 (ja) 2009-08-26

Family

ID=38188293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006102291A Expired - Fee Related JP4321541B2 (ja) 2006-04-03 2006-04-03 監視装置と監視方法

Country Status (6)

Country Link
US (1) US8934012B2 (ja)
EP (1) EP1843305A3 (ja)
JP (1) JP4321541B2 (ja)
KR (1) KR101377221B1 (ja)
CN (1) CN101052123A (ja)
TW (1) TWI387344B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493339B1 (en) * 2009-03-25 2013-07-23 Ami Entertainment Network, Inc. Multi-region interactive display
WO2012158904A1 (en) * 2011-05-17 2012-11-22 Webtuner Corporation System and method for scalable, high accuracy, sensor and id based audience measurement system
US10769913B2 (en) 2011-12-22 2020-09-08 Pelco, Inc. Cloud-based video surveillance management system
CN103280077B (zh) * 2013-05-28 2015-10-07 国家电网公司 输电线路走廊危险源点管控系统
CN103310574B (zh) * 2013-05-28 2016-02-03 国家电网公司 通过手持设备调看安全隐患的输电线路危险源点管控系统
CN103295355B (zh) * 2013-05-28 2015-10-28 国家电网公司 夜间自动识别安全隐患的输电线路走廊危险源点管控系统
CN103280061B (zh) * 2013-05-28 2015-09-09 国家电网公司 多保护层输电线路走廊危险源点管控系统
CN103337122B (zh) * 2013-06-03 2015-12-23 国家电网公司 输配电线路虚拟隔离屏障系统
JP6512751B2 (ja) * 2014-05-23 2019-05-15 キヤノン株式会社 画像処理装置、及び外部装置
CN109996043A (zh) * 2019-04-17 2019-07-09 视云融聚(广州)科技有限公司 施工监控方法、电子设备和施工监控系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
DE19828320A1 (de) 1998-06-25 1999-12-30 Bosch Gmbh Robert Bildübertragungsverfahren und -vorrichtung
JP3738631B2 (ja) * 1999-09-27 2006-01-25 三菱電機株式会社 画像検索システムおよび画像検索方法
JP2002165210A (ja) * 2000-08-04 2002-06-07 Matsushita Electric Ind Co Ltd データ送信端末及びデータ送受信装置
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
JP2002183216A (ja) * 2000-12-18 2002-06-28 Fuji Electric Co Ltd 時系列情報蓄積・再生装置
US6611206B2 (en) * 2001-03-15 2003-08-26 Koninklijke Philips Electronics N.V. Automatic system for monitoring independent person requiring occasional assistance
JP4132712B2 (ja) * 2001-04-02 2008-08-13 日本放送協会 蓄積型マルチチャンネル放送装置、放送局、受信機及び同期再生制御プログラム
US20020169825A1 (en) * 2001-05-11 2002-11-14 Benson Hougland XML-enabled control and monitoring method and apparatus
US20030040925A1 (en) 2001-08-22 2003-02-27 Koninklijke Philips Electronics N.V. Vision-based method and apparatus for detecting fraudulent events in a retail environment
JP2003087772A (ja) * 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
US6970083B2 (en) * 2001-10-09 2005-11-29 Objectvideo, Inc. Video tripwire
US6696945B1 (en) * 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
JP4099973B2 (ja) * 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
JP2003274390A (ja) 2002-03-18 2003-09-26 Olympus Optical Co Ltd 映像配信サーバおよび映像受信クライアントシステム
JP4084263B2 (ja) * 2002-08-13 2008-04-30 株式会社日立国際電気 パラメータ設定方法
JP2004247844A (ja) * 2003-02-12 2004-09-02 Mitsubishi Electric Corp メタデータ選別処理方法、メタデータ選択統合処理方法、メタデータ選択統合処理プログラム、映像再生方法、コンテンツ購入処理方法、コンテンツ購入処理サーバ、コンテンツ配信サーバ
JP3922201B2 (ja) * 2003-03-26 2007-05-30 松下電工株式会社 車載用視界モニタシステム
JP4406821B2 (ja) * 2003-07-15 2010-02-03 ソニー株式会社 監視システムおよび方法、情報処理装置、記録媒体、並びにプログラム
TWI246321B (en) * 2004-01-28 2005-12-21 Chunghwa Telecom Co Ltd Remote video-on-demand digital monitor system
US7313252B2 (en) * 2005-03-25 2007-12-25 Sarnoff Corporation Method and system for improving video metadata through the use of frame-to-frame correspondences
US8316407B2 (en) * 2005-04-04 2012-11-20 Honeywell International Inc. Video system interface kernel
US8531521B2 (en) * 2006-10-06 2013-09-10 Sightlogix, Inc. Methods and apparatus related to improved surveillance using a smart camera
US20080124065A1 (en) * 2006-11-29 2008-05-29 Ahamefula Chukwu Automatic picture and text alerting camera, with inbuilt smoke and motion detectors

Also Published As

Publication number Publication date
EP1843305A3 (en) 2009-06-24
CN101052123A (zh) 2007-10-10
US20070250862A1 (en) 2007-10-25
US8934012B2 (en) 2015-01-13
KR20070099444A (ko) 2007-10-09
TWI387344B (zh) 2013-02-21
EP1843305A2 (en) 2007-10-10
KR101377221B1 (ko) 2014-03-20
TW200742437A (en) 2007-11-01
JP2007281615A (ja) 2007-10-25

Similar Documents

Publication Publication Date Title
JP4321541B2 (ja) 監視装置と監視方法
EP1150510A2 (en) Digital recording/reproducing apparatus for surveillance
JP2006033793A (ja) 追尾映像再生装置
KR101218360B1 (ko) 감시시스템 및 그 제어방법
JP2008042695A (ja) 監視カメラ装置、監視カメラシステム、監視カメラ画像記録方法
US7421134B2 (en) Image processing apparatus and method for moving object-adaptive compression
JP2007158552A (ja) ネットワークカメラシステムおよびネットワークカメラ制御プログラム
JP4938615B2 (ja) 動画像記録再生装置
JP2003153177A (ja) 映像録画装置および映像録画方法
JP2002281487A (ja) ネットワークカメラによる監視方法と監視システム
JP2007281616A (ja) 監視システムと監視装置および監視端末制御方法
JPH11203578A (ja) マルチ表示監視システム
JP2002279560A (ja) ネットワークカメラ利用の監視方法と監視システム
JP2007189558A (ja) 映像表示システム及び映像蓄積配信装置
JP4498207B2 (ja) 映像処理装置及び映像処理方法
KR20060001439A (ko) 디지털 신호 동기화 장치 및 그의 신호 처리 방법 그리고이를 구비하는 비디오 감시 시스템
JP4190384B2 (ja) ビデオカメラ
US20050117780A1 (en) Image signal processing apparatus
JP3913515B2 (ja) 画像再生装置
KR100439023B1 (ko) 디지털 영상 감시시스템
JP2005229553A (ja) 画像処理装置
JP2007081662A (ja) 複合型記録再生装置
JPH09154063A (ja) 字幕信号符号化装置及び方法、並びに字幕信号復号装置及び方法
JP2005353193A (ja) デジタルビデオ記録再生装置およびその記録再生方法
JP5930807B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090525

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees