JP4453684B2 - 監視システム、監視装置、検索方法及び検索プログラム - Google Patents

監視システム、監視装置、検索方法及び検索プログラム Download PDF

Info

Publication number
JP4453684B2
JP4453684B2 JP2006182825A JP2006182825A JP4453684B2 JP 4453684 B2 JP4453684 B2 JP 4453684B2 JP 2006182825 A JP2006182825 A JP 2006182825A JP 2006182825 A JP2006182825 A JP 2006182825A JP 4453684 B2 JP4453684 B2 JP 4453684B2
Authority
JP
Japan
Prior art keywords
search condition
metadata
search
video
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006182825A
Other languages
English (en)
Other versions
JP2008016899A (ja
Inventor
紳 柳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006182825A priority Critical patent/JP4453684B2/ja
Priority to EP07111241A priority patent/EP1873662A3/en
Priority to US11/824,105 priority patent/US7949208B2/en
Priority to CN2007101273260A priority patent/CN101097649B/zh
Publication of JP2008016899A publication Critical patent/JP2008016899A/ja
Application granted granted Critical
Publication of JP4453684B2 publication Critical patent/JP4453684B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7335Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、監視端末と監視装置とで構成される監視システム、監視装置、検索方法及び検索プログラムに関する。
従来、監視端末と監視装置とで構成される監視システムの用途としては、監視端末により撮像された監視対象をリアルタイムで確認する用途の他に、監視対象のデータを記録しておき、後で記録されたデータの中から特定のデータを検索して確認する用途がある。
記録されたデータの検索を行なう場合の検索条件としては、記録された日時や、記録されたデータに付与された記録データ名などを用いることが一般的である。特許文献1には、従来の監視システムの一例が記載されている。
特開2003−274390号公報
ところで、記録された日時や記録データ名などを用いて、記録されたデータの検索を行なうと、抽出されるデータ数が膨大な数となってしまう可能性があった。また、抽出されるデータ数を少なくするためには検索条件を細かく設定する必要があるが、その実現に当たり、インターフェースが複雑化してしまうことが多かった。
また、監視対象データの記録が必要とされる状況が多様化してきていることもあり、記録済みのデータを検索する際に、記録を行った当初には想定されていなかった条件で検索を行わなければならないという状況も増えてきている。この場合、ユーザが手入力によって新しい条件を入力する必要があるが、毎回のように検索条件を入力しなければならないのは手間であり、ユーザの負担が増大してしまうという問題があった。
本発明はかかる点に鑑みてなされたものであり、記録済みの監視対象データの検索の簡易化及び高速化を図ることを目的とする。
本発明は、監視端末から送信される映像データ及びメタデータを蓄積し、映像データ又は前記メタデータの中から所望のデータを抽出するための検索条件を撮影された映像上で予め設定して記憶し、予め記憶させた検索条件を表示させて、表示された検索条件の中から特定の検索条件が選択された場合に、選択された検索条件に合致するメタデータ又は映像データを抽出して表示するようにしたものである。
このようにしたことで、複数表示された検索条件の中から特定の検索条件が選択された時点で、その検索条件に合致するメタデータ又は映像データが抽出される。
本発明によると、複数表示された検索条件の中から特定の検索条件が選択された時点で、その検索条件に合致するメタデータ又は映像データが抽出されるため、検索にかかる手順が削減され、検索を効率的に行なえるようになる。
以下、本発明の一実施の形態を、添付図面を参照して説明する。
図1は、システム構成の概要を示す図で、本例においては監視端末10a及び10bが、ネットワーク1を介して監視装置20に接続してある。監視端末10a及び10bは、メタデータ生成機能を有するカメラであり、監視対象を撮像する撮像部(図示せず)と、撮像部で撮像されたデータから後述するメタデータを生成するメタデータ生成部(図示せず)とを備えた構成としてある。監視端末10a及び10bは映像データ及びメタデータを出力し、出力された各データは、ネットワーク1を介して監視装置20に供給される。
監視装置20は例えばコンピュータで構成され、監視端末10a又は10bより供給される映像データ及びメタデータを記憶、解析するとともに、監視端末10a及び10bで撮像する画像のコーデック切り替え指示等、監視端末10a及び10bの制御を行える構成としてある。なお本例では、監視装置にて監視端末から得られるデータの記憶、解析と制御を行う構成としてあるが、別途サーバを設けてサーバにデータの記憶及び解析を行わせるようにし、監視装置には、監視端末の制御及びデータの閲覧を行わせる構成としてもよい。
メタデータとは、監視端末10a及び10bにて生成されるデータであり、撮像部で撮像された映像データの属性情報のことである。メタデータとしては、例えば監視端末で動体を検知した場合の、動体(オブジェクト)のIDや座標、サイズ等のオブジェクト情報や、撮像時刻データ、監視端末の向き情報(パン・チルト等)、監視端末の位置情報、撮像された画像の署名情報等がある。
次に、図2のブロック図を参照して、本例の監視端末の各部の構成について説明する。監視装置20は、監視端末10a又は10bから映像データ及びメタデータを受信し、映像データを映像データバッファ部21、メタデータをメタデータバッファ部22に送信する。映像データバッファ部21は、監視端末10a又は10bから入力される映像データを取得し、符号化されている映像データの復号化処理を行う。メタデータバッファ部22は、監視端末10a又は10bから取得したメタデータを保持し、保持しているメタデータを後述するメタデータフィルタ判定部25に供給する。
メタデータフィルタ判定部25は、メタデータバッファ部22から取得したメタデータ、あるいはメタデータ蓄積DB24から取得したメタデータに対して、予め設定されたメタデータフィルタの条件に合致するかの判定処理を行い、判定結果を、メタデータ蓄積DB24内に既に記憶されてある記録データに反映させるとともに、フィルタ処理の結果をフィルタパッケージ判定部27に通知する。設定されたメタデータフィルタは、メタデータフィルタ設定DB25に記憶させてある。
メタデータフィルタ(以下、フィルタと称する)とは、オブジェクト情報からアラーム情報を生成する場合の判断条件のことであり、アラーム情報とは、フィルタの条件を満たしたメタデータを解析して、動体の位置の変化から速度を割り出したり、動体がある線を越えたか否かの確認をしたり、またはこれらを複合的に解析することで得られる情報である。フィルタの種類としては、監視対象の物体があるエリア内に存在する場合にアラーム情報を生成する“Appearance(存在)”、監視対象の物体があるエリア内に現れ、そのエリア内から消失した場合にアラーム情報を生成する“Disappearance(消失)”、監視対象の物体があるラインを超えた場合にアラーム情報を生成する“Passing(通過)”、あるエリア内の員数をカウントし、それが所定のある数を超過した時点でアラーム情報を生成する“Capacity(物体制限数)”、所定の時間を越えて、あるエリア内に物体が滞留する場合にアラーム情報を生成する“Loitering(滞留)”等がある。
等がある。
アラーム情報に含まれるデータとしては、上述したフィルタのうちの“Capacity”等、累積オブジェクト数をアラーム情報発生の条件とするフィルタを使用した場合に記録される、フィルタの条件に合致したオブジェクトの数である“累積オブジェクト数”、特定のフレーム内においてフィルタの条件に合致したオブジェクト数である“オブジェクト数”、フィルタの条件に合致したオブジェクトの属性情報等がある。
また、複数のフィルタ同士を組み合わせて、フィルタパッケージ(以下、パッケージと称する)を設定することもできるようにしてある。例えばフィルタAとフィルタBのどちらの条件も満たす場合をパッケージCと設定したり、フィルタAとフィルタBのいずれかの条件を満たす場合をパッケージDと設定したりできる。図3(a)〜(c)にフィルタ又はパッケージの設定例を示してある。図3においては、ショッピングモール全体を広角で撮像する監視システムに、いくつかのフィルタ又はパッケージを適用された例としてある。
図3(a)では、エリアAR1のエリア内で動体が検知された場合に、その動体を検出して動体の数をカウントするフィルタFT1が設定されている。図3(b)では、ラインLN1を動体が通過した場合に動体を検出してその数をカウントするPassingフィルタAと、ラインLN2を動体が通過した場合に動体を検出してその数をカウントするPassingフィルタBと、ラインLN3を動体が通過した場合に動体を検出してその数をカウントするPassingフィルタCとで構成され、ラインLN1〜3を動体が順に通過した場合のみ対象の動体を検出し、その数をカウントするパッケージPK1が設定されている。図3(c)では、エリアAR1内で動体が検知され、かつその動体が一定時間滞在している場合にその動体を検出して数をカウントするフィルタFT2が適用されている。パッケージを構成するフィルタとしては、自機器におけるフィルタだけでなく、他の監視装置で設定されたフィルタを用いてもよい。
図2に戻って説明を続けると、フィルタパッケージ判定部27は、上述したようなパッケージ設定が記憶されたフィルタパッケージ設定DB28からデータを読み込み、受信したメタデータがパッケージの条件に合致しているか否かの判定を行なう。そして、判定結果を、メタデータ蓄積DB24内に既に記憶されてある記録データに反映させるとともに、判定結果に基づいてアラーム情報を生成する必要がある場合には、アラーム情報を生成する。
アラーム情報解析部29は、フィルタパッケージ判定部27から得られるアラーム情報を解析し、監視端末10a又は10bや周辺機器に最適な動作を行わせるための制御を行い、表示部33に情報を与える。解析の種類としては、指定した時間だけアラームが連続で来る場合、インパルス波アラームであっても方形波アラームとみなす“連続時間”、アラーム情報が指定時間内に指定比率以上発生した場合に、その頻度を解析する“発生頻度”、指定範囲内に指定比率以上の物体が存在する場合にその比率を解析する“占有面積”等があり、いずれかを選択できるようにしてある。また、解析の設定を使用者が新たに定義することも可能である。解析した結果を元に、パッケージの再選択やスケジュールの変更が行われる。
解析ルール設定DB30には、アラーム情報解析部29で解析を行う際に用いる解析ルールを記憶させてある。データベースが持つ情報例としては、アラーム解析情報を一意に識別するための解析ルール番号(または解析ルール名)、アラーム解析に用いるパッケージを一意に特定するためのパッケージ番号(またはパッケージ名称)、“連続時間”や“発生頻度”、“占有面積”などの解析の種類の情報、解析タイプに必要な詳細設定項目(時間や閾値頻度など)情報、アクションの実行、パッケージの変更、解析ルールの変更など、条件を満たした場合の動作情報等がある。
スケジュール設定DB32は、解析ルールやパッケージを適用する日付や日時を設定したスケジュール設定を記憶する。スケジュール設定DB32が記憶する情報の例としては、スケジュール情報を一意に識別するためのスケジュール番号(またはスケジュール名)、解析ルールやパッケージの適用を開始する開始時間(年月日時分秒)、解析ルールやパッケージの適用を終了する終了時間(年月日時分秒)、スケジュール内に適用する解析ルールを特定するための解析ルール番号等がある。
スケジュール設定部31は、スケジュールを監視し、スケジュール設定DB32に記憶されたスケジュールの日時になった場合に、所定の解析ルールやパッケージを適用する。例えば、営業時間内は“発生頻度”ルールで解析して自動ドアの挟み込みといった状況を判別し、閉店後は“侵入”アラームに切り替えて侵入自体でアラーム状況と判断させるなどの用法に適用できる。
検索条件判定部33は、映像データ蓄積DB23やメタデータ蓄積DB24、映像データバッファ部21やメタデータ蓄積DB24に蓄積された映像データ又はメタデータの中から、ユーザにより指定された検索条件に合致するデータを抽出する。検索条件は、その都度ユーザに指定させるのではなく、予めフィルタやパッケージの組合せ等を検索条件として設定させておき、その設定がユーザにより選択されたタイミングで検索を実行する構成としてある。検索条件設定DBは、フィルタやパッケージの組合せ等で構成される検索条件を記憶してあり、フィルタやパッケージが適用される監視端末の情報も、合わせて持つようにしてある。
表示部35は、液晶パネル等で構成されるディスプレイであり、検索条件判定部33により抽出されたメタデータや映像が表示される。
次に、図4のフローチャート及び図5〜7の画面表示例を参照して、本例の監視端末における検索処理について説明する。まず、フィルタやパッケージ等、データの絞込みを行なうための条件登録を予め受け付けておく(ステップS11)。ここで登録された検索条件は、検索条件設定DB34(図2参照)に記憶される。
次に、監視端末10a及び10bより映像データとメタデータを取得し(ステップS12)、取得した映像データを映像データバッファ部21に記憶させ、メタデータをメタデータバッファ部22に記憶させる(ステップS13)。映像データバッファ部21とメタデータバッファ部22によって保持された各データは、所定の時間が経過後に映像データDB23及びメタデータ蓄積DB24に蓄積される。
このとき、メタデータフィルタ判定部25やフィルタパッケージ判定部27において、受信したメタデータがフィルタ又はパッケージの条件を満たすか否かの判断も行なわれ、アラーム情報の生成が必要とされる場合にはアラーム情報が生成される。そして、メタデータフィルタ判定部25による判定結果、フィルタパッケージ判定部27による判定結果及びアラーム情報は、再びメタデータ蓄積DB24に蓄積される。
ステップ11〜13が繰り返されることにより、一定量の映像データ及びメタデータが蓄積された状態で特定のデータを抽出したい場合に、ユーザは検索ソフトウェアを起動させる(ステップS14)。検索ソフトウェアとは、図5に示すようなGUI(Graphical User Interface)を持つソフトウェアであり、検索条件判定部33を備える。
ここで、図5を参照して検索画面の詳細について説明する。検索画面は、画面左上より記録日時選択パート、監視端末選択パート、詳細条件選択パート、記録属性選択パート及び検索結果表示パートで構成される。記録日時選択パートは、年月日の選択を受け付ける部分であり、ここでいう年月日とは、監視装置で監視データが記録された日時である。ここで選択された年月日は検索条件として設定され、指定された年月日をキーに検索が実行される。記録日時選択パートは、初期設定にて3日や一週間等予め日付の幅を指定しておくことも可能であり、一週間に一度記録データをチェックするユーザであれば、初期設定にて一週間分のデータのみを表示させる設定にしておけば、検索ソフトウェア起動時に自動的に過去一週間分のデータのみが抽出されるようになり、検索手順の削減にもつながる。
監視端末選択パートでは、監視システムにより管理される監視端末を一覧で表示するようにしてある。一覧の中から特定の監視端末が選択されると、その監視端末によって取得・記録された記録データのみが、映像データバッファ部21又はメタデータバッファ部22、映像データ蓄積DB23やメタデータ蓄積DB24から抽出され、抽出された記録データが、検索結果表示パートに表示される。図6に、この場合の表示例を示してある。監視端末選択パートで“RZ50”という監視端末が選択されており、検索結果表示パートに、RZ50にて撮像・記録された記録データが一覧で表示してある。
なお、図6では検索の結果、該当した記録データが1件のみの場合を示してあるが、記録データが複数存在する場合には検索結果は複数行で表示される。また、図6では監視端末選択パートに監視端末名を一覧で表示してあるが、広域を撮像する監視端末と狭域を撮像する監視端末等、監視端末のタイプ別の表示を行うようにしてもよい。この場合、タイプを選択することにより、そのタイプに分類される複数台の監視端末が検索条件として設定される。
図5に戻って説明を続けると、詳細条件選択パートでは、ステップS11(図4参照)で登録された検索条件を、ツリー状またはリスト等、一覧で表示するようにしてある。一覧の中から特定の検索条件が選択されると、その検索条件、つまりフィルタやパッケージの条件に合致した記録データのみが抽出され、抽出された記録データが検索結果表示パートに表示される。
図7に、この場合の表示例を示してある。詳細条件選択パートで“RX550-Package1”というパッケージ(検索条件)が選択されており、検索結果表示パートに、RX550-Package1というパッケージで設定された条件に合致した記録データが表示されている。詳細条件選択パートで検索条件が選択された場合は、検索結果表示パートに表示される項目として、“Appearance”や“Passing”等のフィルタの詳細(項目:“Filter”)や、検知されたオブジェクトの詳細情報(項目:“Object detail”)、アラーム情報発生の時刻(項目:“Alarm Time”)等が表示される。
また、図示はしていないが、詳細検索条件選択パートには、検索条件の追加や変更等を行なえる編集用のリンク又はボタン等を表示するようにしてあり、この機能を利用することにより、検索条件の登録後であっても、また検索を行なっている最中であっても検索条件の新規登録や編集を行なうことが可能となる。
図5の検索画面の説明に戻ると、記録属性選択パートは検索条件として属性を指定できる部分であり、例えばカメラボタンBT1、音声ボタンBT2、アラームボタンBT3、スケジュールボタンBT4、マニュアルボタンBT5、コンボボックスKB6等で構成される。ボタンは、押下されるとその状態が保持され、押下された状態が保持された期間は設定が有効となるようにしてある。
カメラボタンBT1を押下すると、監視端末で撮像された記録データのみが抽出されるよう、条件設定がされる。同様に、音声ボタンBT2を押下すると音声データのみの条件設定がされ、アラームボタンBT3を押下するとアラーム情報を持つデータのみという条件設定がされ、スケジュールボタンBT4を押下するとスケジュールに基づいて記録されたデータのみという条件設定がされ、マニュアルボタンBT5を押下すると撮像のトリガが手動による撮像開始指令であるデータのみという条件設定がされる。コンボボックスKB6でも、アラーム情報が生成された記録データのみ、又はフィルタやパッケージの条件に合致した記録データのみ等、属性の設定を切り替えられるようにしてある。
ここで図4のフローチャートに戻り、検索処理の説明を続ける。ステップS14で検索ソフトウェアが起動された後は、記録日時選択パートでの日時設定等、初期検索条件設定がされているか否かが判断される(ステップS15)。初期検索設定がされている場合には、記録日時を検索条件として記録データの絞込みが行なわれる(ステップS16)。初期検索設定がされていない場合は、次に記録属性選択パートでいずれかの条件設定が行なわれているか否かの判断が行なわれる(ステップS17)。アラームボタン3の押下等、記録属性選択パートにおいて何らかの設定がなされている場合には、選択された記録属性を検索条件として記録データの絞込みが行なわれる(ステップS18)。
記録属性選択パートでの検索条件指定が無い場合には、監視端末選択パートでいずれかの監視端末が選択されているか否かの判断が行なわれる(ステップS19)監視端末が選択されている場合には、選択された監視端末で撮像・記録された記録データのみが抽出され、表示部35(図2参照)に表示される(ステップS20)。次に、詳細検索条件選択パートにていずれかのフィルタ又はパッケージが検索条件として選択されているか否かの判断がされ(ステップS21)、詳細検索条件が指定されている場合には、選択された詳細検索条件に合致する記録データが抽出され、表示部35に表示される(ステップS22)。指定が無い場合にはステップ15に戻り、ユーザからの検索条件の指定を待ち受ける。
このように、アラーム情報を生成する判断条件としてのフィルタや、複数のフィルタを論理条件で結びつけたパッケージを、監視端末に記録された監視データの検索条件として予め登録しておくようにしたため、検索を行う際にはそれらをクリックする等の簡単な操作で検索を行うことができ、検索手順を削減することが可能となる。
また、よく検索する条件をフィルタやパッケージの指定等により予め設定しておけるため都度検索条件を入力する必要がなくなり、特に大量のデータに対して検索を行う必要がある場合などには、検索時間が大幅に節減される。
また、検索画面という1つのGUI上にて、詳細条件設定に基づく検索と、詳細条件設定の編集を行えるようにしてあるため、詳細条件設定の設定は熟練者に行なわせるようにし、検索は別の人間が行なうようにするといった、作業の分担を行なうことができるようになる。
さらに、詳細条件設定選択パートで、検索条件としてパッケージがツリー状に表示してある場合にはツリーを開いて階層を平らにした状態で、また、リスト表示されている場合にはそのままの状態で、異なるパッケージの配下にそれぞれ設定されたフィルタを複数選択して検索をかけることも可能であり、このような操作を行なうことで検索条件を柔軟に、かつ少ない手順で行なうことが可能となる。
なお、ここまで説明した実施の形態では、監視端末として撮像部を備えたカメラ等を想定して説明を行ったが、監視端末としてマイクロフォンを用いる構成としてもよい。
また、上述した実施の形態では、検索条件としての属性条件として、映像や音声といった記録データの属性や、記録が開始された方法(ユーザの手動による開始か、スケジュール制御に基づく自動開始か、特定の条件が満たされたことによる開始か)等を例に挙げて説明を行ったが、ブックマークやコメント等、ユーザが記録データに付与した情報を属性条件として持たせるようにしてもよい。
また、上述した実施の形態では、記録データが記録された日時の指定を、記録日時選択パートにて指定させたり、初期設定として範囲を指定させたりするようにしてあるが、検索ソフトウェア起動時に必ず日時を指定させるような構成としてもよい。
また、ここまで説明した実施の形態では、検索開始を指示するためのボタン等を特に設けず、監視端末選択パートや詳細条件選択パートにて特定の条件が選択されたことを持って検索を開始させる構成としたが、検索ボタンその他の、検索開始を指示するためのGUIを別途設けるようにしてもよい。
また、上述した実施の形態では、監視端末の選択や詳細条件の選択を行なうことにより検索が開始される構成としてあるが、検索時に詳細条件設定を行う必要が無い場合には、指定を行わないようにしてもよい。
さらに、以上説明した実施の形態では、記録データの記録日時を初期検索条件として設定できる構成としたが、「画面内すべてを監視オブジェクトの検索範囲とする」等の、良く利用されると思われる検索条件は、初期検索条件などでユーザからの設定を待ち受けるまでもなく、システム側に最初から持たせておくようにしてもよい。
本発明の一実施の形態による監視システムの構成例を示す構成図である。 本発明の一実施の形態による監視装置の内部構成例を示すブロック図である。 本発明の一実施の形態によるフィルタ及びパッケージの設定例を示す説明図である。 本発明の一実施の形態による検索処理例を示すフローチャートである。 本発明の一実施の形態による検索画面の表示例を示す説明図である。 本発明の一実施の形態による検索画面の表示例を示す説明図である。 本発明の一実施の形態による検索画面の表示例を示す説明図である。
符号の説明
1…ネットワーク、10…監視端末、20…監視装置、21…映像データバッファ部、22…メタデータバッファ部、23…映像データ蓄積DB、24…メタデータ蓄積DB、25…メタデータフィルタ判定部、26…フィルタ設定DB、27…フィルタパッケージ判定部、28…フィルタパッケージ設定DB、29…アラーム情報解析部、30…解析ルール設定DB、31…スケジュール設定部、32…スケジュール設定DB、33…検索条件判定部、34…検索条件設定DB、35…表示部

Claims (19)

  1. 監視端末と監視装置を用いて構成される監視システムにおいて、
    前記監視端末は、
    監視対象を撮像して映像データを生成する撮像部と、
    前記撮像部で撮像された監視対象の属性情報を示したメタデータを生成するメタデータ生成部とを備え、
    前記監視装置は、
    前記監視端末の前記撮像部で生成された前記映像データを記憶する映像データ蓄積部と、
    前記監視端末の前記メタデータ生成部で生成された前記メタデータを記憶するメタデータ蓄積部と、
    前記映像データ蓄積部に蓄積された映像データ又は前記メタデータ蓄積部に蓄積されたメタデータの中から所望のデータを抽出するための検索条件を、前記撮影された映像上で予め設定して記憶しておく検索条件記憶部と
    検索条件記憶部に記憶された検索条件の中から、特定の検索条件が選択された場合に、選択された検索条件に合致する映像データ又はメタデータを抽出して表示部に表示する制御部とを備えた
    監視システム。
  2. 前記検索条件は、前記映像上で設定されたエリア内で動体を検知したことである
    請求項1に記載の監視システム。
  3. 前記検索条件は、前記映像上で設定されたエリア内に物体が現れ、当該エリア内から当該物体が消失したことである
    請求項1に記載の監視システム。
  4. 前記検索条件は、前記映像上で設定されたラインを物体が超えたことである
    請求項1に記載の監視システム。
  5. 前記検索条件は、前記映像上で設定されたエリア内で検知した動体の数が、所定数を超えたことである
    請求項1に記載の監視システム。
  6. 前記検索条件は、前記映像上で設定されたエリア内に所定の時間を超えて物体が滞留したことである
    請求項1に記載の監視システム。
  7. 前記制御部は、前記映像上で設定された検索条件に対応する検索条件特定情報を、前記表示部に表示し、当該表示された検索条件特定情報を選択することで、対応する検索条件を選択する
    請求項1に記載の監視システム。
  8. 像データを記憶する映像データ蓄積部と、
    前記映像データの属性情報を示したメタデータを記憶するメタデータ蓄積部と、
    前記映像データ蓄積部に蓄積された映像データ又は前記メタデータ蓄積部に蓄積されたメタデータの中から所望のデータを抽出するための検索条件を、前記映像上で予め設定して記憶しておく検索条件記憶部と、
    検索条件記憶部に記憶された検索条件の中から、特定の検索条件が選択された場合に、選択された検索条件に合致する映像データ又はメタデータを抽出して表示部に表示する制御部とを備えた
    監視装置。
  9. 前記メタデータの中から、警告を行う必要のあるデータを抽出するための条件であるフィルタの設定情報を記憶するメタデータフィルタ設定記憶部と、
    前記フィルタの組み合わせで構成されるフィルタパッケージの設定情報を記憶するフィルタパッケージ記憶部とを備え、
    前記検索条件記憶部に記憶させる検索条件は、前記フィルタ又は前記フィルタパッケージで構成される
    請求項記載の監視装置。
  10. 前記検索条件記憶部に記憶された検索条件以外の条件を新たに追加するための検索条件追加手段を備えた
    請求項8記載の監視装置。
  11. 前記メタデータ生成部で生成されるメタデータには、前記監視端末で動体を検知した場合の前記動体の座標又は前記動体のサイズが含まれる
    請求項8乃至10のいずれかに記載の監視装置。
  12. 前記検索条件は、前記映像上で設定されたエリア内で動体を検知したことである
    請求項8に記載の監視装置。
  13. 前記検索条件は、前記映像上で設定されたエリア内に物体が現れ、当該エリア内から当該物体が消失したことである
    請求項8に記載の監視装置。
  14. 前記検索条件は、前記映像上で設定されたラインを物体が超えたことである
    請求項8に記載の監視装置。
  15. 前記検索条件は、前記映像上で設定されたエリア内で検知した動体の数が、所定数を超えたことである
    請求項8に記載の監視装置。
  16. 前記検索条件は、前記映像上で設定されたエリア内に所定の時間を超えて物体が滞留したことである
    請求項8に記載の監視装置。
  17. 前記制御部は、前記映像上で設定された検索条件に対応する検索条件特定情報を、前記表示部に表示し、当該表示された検索条件特定情報を選択することで、対応する検索条件を選択する
    請求項8に記載の監視装置。
  18. 像データを蓄積し、
    前記映像データの属性情報を示したメタデータを蓄積し、
    前記映像データ又は前記メタデータの中から所望のデータを抽出するための検索条件を、前記映像上で予め設定して記憶し
    記憶された検索条件の中から、特定の検索条件が選択された場合に、選択された検索条件に合致するメタデータ又は映像データを抽出して表示する
    検索方法。
  19. 像データを記憶する映像データを蓄積するステップと
    前記映像データの属性情報を示したメタデータを蓄積するステップと
    前記映像データ又は前記メタデータの中から所望のデータを抽出するための検索条件を、前記映像上で予め設定して予め記憶するステップと
    記憶された検索条件の中から、特定の検索条件が選択された場合に、選択された検索条件に合致するメタデータ又は映像データを抽出して表示するステップと、をコンピュータに実行させるための
    検索プログラム。
JP2006182825A 2006-06-30 2006-06-30 監視システム、監視装置、検索方法及び検索プログラム Active JP4453684B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006182825A JP4453684B2 (ja) 2006-06-30 2006-06-30 監視システム、監視装置、検索方法及び検索プログラム
EP07111241A EP1873662A3 (en) 2006-06-30 2007-06-28 Video monitoring system, video data search method and programme
US11/824,105 US7949208B2 (en) 2006-06-30 2007-06-28 Monitor system, monitor device, search method, and search program
CN2007101273260A CN101097649B (zh) 2006-06-30 2007-07-02 监视设备、搜索方法、和搜索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006182825A JP4453684B2 (ja) 2006-06-30 2006-06-30 監視システム、監視装置、検索方法及び検索プログラム

Publications (2)

Publication Number Publication Date
JP2008016899A JP2008016899A (ja) 2008-01-24
JP4453684B2 true JP4453684B2 (ja) 2010-04-21

Family

ID=38463306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006182825A Active JP4453684B2 (ja) 2006-06-30 2006-06-30 監視システム、監視装置、検索方法及び検索プログラム

Country Status (4)

Country Link
US (1) US7949208B2 (ja)
EP (1) EP1873662A3 (ja)
JP (1) JP4453684B2 (ja)
CN (1) CN101097649B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5383087B2 (ja) * 2008-05-15 2014-01-08 キヤノン株式会社 画像処理システム、画像処理方法、画像処理装置およびその制御方法、ならびにプログラム
JP5523027B2 (ja) * 2009-09-02 2014-06-18 キヤノン株式会社 情報送信装置及び情報送信方法
US10769913B2 (en) 2011-12-22 2020-09-08 Pelco, Inc. Cloud-based video surveillance management system
KR101595882B1 (ko) 2012-08-24 2016-02-22 한화테크윈 주식회사 영상 분석 장치 및 방법
US9210385B2 (en) * 2012-11-20 2015-12-08 Pelco, Inc. Method and system for metadata extraction from master-slave cameras tracking system
US10614531B2 (en) 2014-04-11 2020-04-07 S&C Electric Company Filter-based dynamic power system operation dashboards
US11265317B2 (en) 2015-08-05 2022-03-01 Kyndryl, Inc. Security control for an enterprise network
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业(深圳)有限公司 摄像装置、影像处理系统及方法
US12470673B2 (en) * 2020-10-23 2025-11-11 Canon Kabushiki Kaisha Computer-implemented method, computer program and apparatus for video processing and for generating a thumbnail from a video sequence, and video surveillance system comprising such an apparatus
CN113723259A (zh) * 2021-08-24 2021-11-30 罗家泳 监控视频处理方法、装置、计算机设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643387B1 (en) * 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
JP3738631B2 (ja) * 1999-09-27 2006-01-25 三菱電機株式会社 画像検索システムおよび画像検索方法
JP2002165210A (ja) * 2000-08-04 2002-06-07 Matsushita Electric Ind Co Ltd データ送信端末及びデータ送受信装置
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
JP4697913B2 (ja) * 2000-12-20 2011-06-08 キヤノン株式会社 データ検索装置及び方法
JP4099973B2 (ja) * 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
JP2003274390A (ja) * 2002-03-18 2003-09-26 Olympus Optical Co Ltd 映像配信サーバおよび映像受信クライアントシステム
JP2004247844A (ja) * 2003-02-12 2004-09-02 Mitsubishi Electric Corp メタデータ選別処理方法、メタデータ選択統合処理方法、メタデータ選択統合処理プログラム、映像再生方法、コンテンツ購入処理方法、コンテンツ購入処理サーバ、コンテンツ配信サーバ
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
JP2006139382A (ja) * 2004-11-10 2006-06-01 Canon Inc 情報処理装置及びその制御方法、プログラム
US7454037B2 (en) * 2005-10-21 2008-11-18 The Boeing Company System, method and computer program product for adaptive video processing

Also Published As

Publication number Publication date
CN101097649A (zh) 2008-01-02
EP1873662A2 (en) 2008-01-02
US20080005088A1 (en) 2008-01-03
EP1873662A3 (en) 2012-05-02
US7949208B2 (en) 2011-05-24
JP2008016899A (ja) 2008-01-24
CN101097649B (zh) 2010-12-08

Similar Documents

Publication Publication Date Title
CN101097649B (zh) 监视设备、搜索方法、和搜索装置
JP4201025B2 (ja) 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
EP2717564B1 (en) Method, device and system for realizing video retrieval
US8743261B2 (en) Camera data management and user interface apparatuses, systems, and methods
JP7279068B2 (ja) モバイル画像キャプチャデバイスを用いて巻戻し動作を実行するためのシステムおよび方法
US20090317056A1 (en) System and method for managing schedules of monitoring device
CN111209438A (zh) 视频处理方法、装置、设备及计算机存储介质
EP3229174A1 (en) Method for video investigation
US20110096994A1 (en) Similar image retrieval system and similar image retrieval method
CN104615632A (zh) 用于监视系统的基于电子地图的直观视频搜索系统和方法
JP7091886B2 (ja) マニュアル管理装置、マニュアル管理システム、および制御プログラム
US12411588B2 (en) Information processing device, information processing method, and program
US12106561B2 (en) Information processing device, information processing method, and program
CN117768430A (zh) 会话中实况图片的发送方法、接收方法、装置及设备
JP5195156B2 (ja) 監視装置、監視システム及びフィルタ設定方法
JP4397404B2 (ja) 端末管理装置及び端末管理プログラム
JP2008011056A (ja) 保存動画選択装置、そのプログラムおよび該プログラムを記録したコンピュータ読取り可能な記録媒体、保存動画選択システムならびに保存動画選択方法
JP2020198037A (ja) 制御装置
JP4408920B2 (ja) 端末管理装置及び端末管理プログラム
JP4185376B2 (ja) 画像処理システム
CN118972650A (zh) 监控视频的轮巡控制方法、装置、设备及存储介质
JP2006186895A (ja) 情報処理装置及びその制御方法、プログラム、記憶媒体、システム
JP6576704B2 (ja) 動画再生装置及び動画再生方法
US20230359665A1 (en) Information processing device, information processing method, and program
JP6847168B2 (ja) 動画再生装置及び動画再生方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4453684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140212

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250