JP6789090B2 - 監視制御装置 - Google Patents

監視制御装置 Download PDF

Info

Publication number
JP6789090B2
JP6789090B2 JP2016240310A JP2016240310A JP6789090B2 JP 6789090 B2 JP6789090 B2 JP 6789090B2 JP 2016240310 A JP2016240310 A JP 2016240310A JP 2016240310 A JP2016240310 A JP 2016240310A JP 6789090 B2 JP6789090 B2 JP 6789090B2
Authority
JP
Japan
Prior art keywords
processing unit
seismic motion
image
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016240310A
Other languages
English (en)
Other versions
JP2018096775A (ja
Inventor
昴人 谷村
昴人 谷村
裕志 笠原
裕志 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016240310A priority Critical patent/JP6789090B2/ja
Publication of JP2018096775A publication Critical patent/JP2018096775A/ja
Application granted granted Critical
Publication of JP6789090B2 publication Critical patent/JP6789090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、地震動を検知する機能を備えた監視制御装置に関するものである。
従来、監視対象領域を監視する装置において、地震動が発生したことを検知する機能を備えるようにする技術が知られている。
例えば、特許文献1には、監視対象領域を撮像する監視カメラ装置に振動センサを組み込み、当該振動センサの反応によって、監視カメラ装置に生じた振動が地震によるものか否かを判定する技術が開示されている。
特開2004−274400号公報
しかしながら、特許文献1に開示されているような従来の技術では、地震動を検知するためには、設置する監視カメラ装置等の撮像装置ごとに追加的に振動センサを組み込む必要があり、また、振動センサを組み込んでいない撮像装置では、地震動を検知できないという課題があった。
この発明は上記のような課題を解決するためになされたもので、撮像装置ごとに振動センサ等の処理装置を追加的に組み込むことなく、地震動を検知することができる監視制御装置を提供することを目的としている。
この発明に係る監視制御装置は、撮像装置が撮像した映像を取得する映像取得部と、
映像取得部が取得した映像に画像変化があったかどうかに基づき地震動の有無を判断する地震動検知処理を行う地震動検知処理部と、映像取得部が取得した映像の画像補正処理を行う画像補正処理部と、画像補正処理部による画像補正処理の実行を制御する補正処理制御部と、を備え、映像取得部は、複数の撮像装置から映像を取得し、地震動検知処理部は、複数の撮像装置のうちの1次判定用撮像装置から取得した映像について、地震動検知処理を行う第1処理部と、第1処理部が地震動を検知した場合に、複数の撮像装置のうちの2次判定用撮像装置から取得した映像について、地震動検知処理を行う第2処理部とを備え、補正処理制御部は、第1処理部が地震動を検知した場合に、第2処理部が地震動検知処理を行っている間、画像補正処理部による画像補正処理を停止させるものである。
この発明によれば、撮像装置ごとに振動センサ等の処理装置を追加的に組み込むことなく、地震動を検知することができる。
この発明の実施の形態1に係る映像記録再生装置を備えた監視システムの一例を示す構成図である。 実施の形態1の監視システムにおいて、映像記録再生装置が、地震動を検知した地震動発生時の、映像記録再生装置から外部の装置への出力の概念図である。 この発明の実施の形態1に係る映像記録再生装置102の構成図である。 実施の形態1において、記録部が記録する情報の一例を説明する図である。 図5A,図5Bは、実施の形態1において、第1処理部が地震動の有無を判断するパターンの一例を説明するための図である。 実施の形態1において、第1処理部が、特定のオブジェクトの動きの加速度が予め設定された閾値以上かどうかによって地震動の有無を判断する動作の一例の概念図である。 図7A,図7Bは、実施の形態1において、第2処理部の処理開始前後での映像処理部のリソース配分の一例のイメージを示す図である。 実施の形態1において、第2処理部が、地震動の有無を判断する動作の一例の概念図である。 図9A,図9Bは、この発明の実施の形態1に係る映像記録再生装置のハードウェア構成の一例を示す図である。 この発明の実施の形態1に係る映像記録再生装置の動作を説明するフローチャートである。 この発明の実施の形態2に係る映像記録再生装置の動作を説明するフローチャートである。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る映像記録再生装置102を備えた監視システムの一例を示す構成図である。
この実施の形態1では、一例として、映像記録再生装置102は、建物あるいは建物内の部屋等に出入りする人物等を監視する監視システムに用いられるものとする。映像記録再生装置102は、撮像装置101が撮像した映像等を記録することができる。また、映像記録再生装置102は、撮像装置101が撮像した映像等を、モニタ105等外部の表示装置に再生する機能を有する。
また、以下の説明においては、一例として、地震動を検知する機能を備えた監視制御装置が、映像記録再生装置102に搭載されるものとする。
図1に示すように、監視システムでは、撮像装置101と、映像記録再生装置102と、入退室管理装置107と、放送装置110と、携帯端末104とが、ネットワーク103を介して接続される。
撮像装置101は、例えば、監視カメラである。監視カメラは、例えば、視野が1方向に固定されているカメラであってもよいし、旋回可能なカメラであってもよい。撮像装置101は、建物の入口付近、あるいは、部屋の入口付近等の監視対象領域を撮像する。図1では、撮像装置101が1つのみ示されているが、撮像装置101は複数備えられるものとする。
映像記録再生装置102は、モニタ105と接続され、撮像装置101が撮像した映像を取得し、当該モニタ105に表示させる。なお、映像記録再生装置102は、モニタ105に映像を表示させてもよいし、画像として表示させてもよい。また、映像記録再生装置102とモニタ105とは、一体の装置であってもよい。
また、映像記録再生装置102は、撮像装置101が撮像した映像を取得し、記録するとともに、記録した映像をモニタ105に表示させて再生することもできる。
また、映像記録再生装置102は、地震動検知機能を有し、撮像装置101が撮像した映像に基づき地震動の発生を検知する地震動検知処理を行い、地震動を検知した場合には、入退室管理装置107、放送装置110、および、携帯端末104に対して、地震動を検知した旨の情報を送信する。
映像記録再生装置102は、マウス、キーボード、または、リモートコントローラ等の入力装置106と接続されており、入力装置106が受け付けたユーザからの操作を受け付ける。管理者等は、入力装置106から、映像記録再生装置102に対する各種指示等を入力する。
入退室管理装置107は、電気錠108と入退室操作端末109とに接続される。電気錠108は、例えば、入場ゲートであり、人物等の入退室を物理的に制限できるものであればよい。入退室操作端末109は、ユーザからの入退室に関する操作を受け付ける。
入退室管理装置107は、通常時は、例えば、入退室操作端末109がユーザから受け付けた指示に基づき、電気錠108の開閉を行う。このとき、入退室管理装置107は、電気錠108の開閉履歴を、ネットワーク103を介して映像記録再生装置102に送信し、映像記録再生装置102は、当該開閉履歴を、撮像装置101から取得した映像と対応付けて記録する。
また、入退室管理装置107は、例えば、映像記録再生装置102が不審人物を検知した場合、または、映像記録再生装置102が地震動を検知した場合等の緊急時に、電気錠108の開閉を行う。なお、映像記録再生装置102は、監視対象領域を撮像した映像の記録、または、再生制御を行い、監視対象領域を撮像した映像に基づく当該監視対象領域の異常を検知する。
なお、図1では、電気錠108および入退室操作端末109は、それぞれ1つ、入退室管理装置107に接続されるものとしたが、これに限らず、複数の電気錠108または複数の入退室操作端末109が入退室管理装置107に接続されるようにしてもよい。
また、電気錠108または入退室操作端末109は、ネットワーク103を介して入退室管理装置107と接続されるようにしてもよい。
放送装置110は、建物内のユーザ等への定期連絡のために予め録音された音声、または、建物の管理者等がマイク等の音声入力装置(図示省略)から入力した音声を、建物内に設置されたスピーカ等の音声出力装置(図示省略)から出力する。
また、放送装置110は、映像記録再生装置102が地震動を検知した場合に、ネットワーク103を介して映像記録再生装置102から送信される、地震動を検知したことを通知する情報を受信し、当該情報に基づく警報を、音声出力装置から出力する。
携帯端末104は、建物のユーザ等が携帯する端末であり、スマートフォン、タブレット、または、携帯電話等、ユーザ同士の通話またはメールでの連絡等に使用される一般的な機器である。なお、図1では、携帯端末104は、ネットワーク103に1台のみ接続されているものとしたが、これに限らず、複数台の携帯端末104がネットワーク103に接続されていてもよい。
また、携帯端末104は、映像記録再生装置102が地震動を検知した場合に、ネットワーク103を介して映像記録再生装置102から送信される、地震動を検知したことを通知する情報を受信し、当該情報に基づく警報等を、スピーカ等の音声出力装置(図示省略)またはディスプレイ等の表示部(図示省略)から出力する。
撮像装置101と、映像記録再生装置102と、入退室管理装置107と、放送装置110とは、ネットワーク103を介さず、互いに直接接続されていてもよい。
また、この実施の形態1では、監視システムは、入退室管理装置107と放送装置110と携帯端末104とを全て備えるものとしたが、入退室管理装置107と放送装置110と携帯端末104のうちのいずれか1つ、または、2つを備えるものであってもよい。また、入退室管理装置107と放送装置110と携帯端末104のいずれも備えないものであってもよい。
図2は、この実施の形態1の監視システムにおいて、映像記録再生装置102が、地震動を検知した場合の、映像記録再生装置102から外部の装置への出力の概念図である。
映像記録再生装置102は、地震動検知処理により地震動を検知すると、モニタ105に地震動を検知したことを示す情報を表示させる。これにより、映像記録再生装置102は、モニタ105を監視している管理者等に対して、地震動を検知したことを通知する。地震動検知処理の詳細については後述する。
また、映像記録再生装置102は、地震動を検知すると、ネットワーク103を介して、入退室管理装置107、放送装置110、および、携帯端末104に、地震動を検知したことを通知する情報を送信する。
入退室管理装置107は、映像記録再生装置102から地震動を検知したことを通知する情報を受信すると、入退室操作端末109がユーザから開錠指示を受け付けた場合等の通常時の電気錠108の開閉制御とは関係なく、電気錠108を緊急開錠する。電気錠108が複数ある場合、どの電気錠108を地震動発生時に緊急開錠するかについては、例えば、管理者等が入退室操作端末109等から予め設定可能である。これにより、建物内にいる人物等の避難経路を確保する。
入退室管理装置107が、映像記録再生装置102から地震動を検知したことを通知する情報を受信して電気錠108を緊急開錠するのではなく、映像記録再生装置102が、入退室管理装置107に警報を送信後、直接、電気錠108を緊急開錠するようにしてもよい。
なお、図2においては、入退室操作端末109および電気錠108の図示を省略している。
放送装置110は、映像記録再生装置102から地震動を検知したことを通知する情報を受信すると、予め録音され記憶されている緊急放送用の音声を、スピーカ等の音声出力装置から出力する。
携帯端末104は、映像記録再生装置102から地震動を検知したことを通知する情報を受信すると、警報をスピーカ等の音声出力装置から出力する。これにより、携帯端末104のユーザは、地震動の発生を認識し、避難等をすることができる。
また、映像記録再生装置102は、携帯端末104に対して、地震動の発生検知時の映像を配信し、携帯端末104は、当該配信された映像を、ディスプレイ等の表示部に表示させるようにしてもよい。
図3は、この発明の実施の形態1に係る映像記録再生装置102の構成図である。
以下、図3に示すように、映像記録再生装置102には、複数台の撮像装置101が、ネットワーク103を介して接続されているものとする。
図3に示すように、映像記録再生装置102は、映像取得部11と、記録部12と、デコード部13と、映像処理部14と、入力受付部15と、制御部16と、メモリ17と、出力処理部18とを備える。
なお、この実施の形態1において、少なくとも、映像取得部11と、映像処理部14と、制御部16とは、映像記録再生装置102に搭載される監視制御装置が備える。
映像取得部11は、ネットワーク103を介して撮像装置101から第1映像ストリーム301を取得する。この実施の形態1では、撮像装置101が複数台接続されているので、映像取得部11は、複数の第1映像ストリーム301を取得する。
映像取得部11は、取得した第1映像ストリーム301を、デコード部13に出力する。また、映像取得部11は、取得した第1映像ストリーム301を、当該第1映像ストリーム301の受信日時の情報と対応付けて、記録部12に記録させる。
記録部12は、映像取得部11から出力された第1映像ストリーム301を、当該第1映像ストリーム301の受信日時の情報と対応付けて記録する。
ここで、図4は、実施の形態1において、記録部12が記録する情報の一例を説明する図である。
例えば、映像記録再生装置102には、n台の撮像装置(1)、撮像装置(2)、・・・、撮像装置(n)が接続されているものとする。図4に示すように、記録部12には、撮像装置101ごとに、映像取得部11から出力された第1映像ストリーム301が、受信日時の情報と対応付けて記録される。
なお、図4では、一例として、映像取得部11が撮像装置101から1秒間隔で第1映像ストリーム301を取得し、記録部12に記録されるものとしているが、映像取得部11が撮像装置101から第1映像ストリーム301を取得する間隔はこれに限らない。
図4は一例に過ぎず、記録部12には、少なくとも、撮像装置101ごとに、当該撮像装置101が撮像した第1映像ストリーム301と、当該第1映像ストリーム301の取得日時の情報とが対応付けられて記録されるようになっていればよい。
デコード部13は、映像取得部11から出力された、符号化された状態の第1映像ストリーム301を、デコード処理する。デコード部13は、第1映像ストリーム301をデコード処理した後の第3映像ストリーム303を映像処理部14に出力する。なお、第1映像ストリーム301はデコード処理されず、符号化された状態のまま映像処理部14に出力されてもよい。その場合、デコード部13は、映像処理部14から出力処理部18に出力される第6映像ストリーム306に対して、デコード処理を行うようにする。
また、デコード部13は、制御部16のデータ蓄積制御部162からの制御に基づき、記録部12に記録されている第2映像ストリーム302を抽出してデコード処理し、デコード処理後の第4映像ストリーム304、および第5映像ストリーム305をメモリ17に記録させる。
第4映像ストリーム304、第5映像ストリーム305、および制御部16については、後述する。
入力受付部15は、管理者等からの各種操作を受け付ける。各種操作とは、具体的には、例えば、画像補正処理に関する操作、および地震検知処理に関する操作である。例えば、管理者等は、地震検知処理に関する操作として、入力装置106から、地震動検知処理の開始指示を入力する。このとき、管理者等は、検知する震度の閾値、加速度の閾値、振動継続時間、あるいは、検知対象の撮像装置101等、地震動検知処理の際に必要となる情報を設定することもできる。
入力受付部15は、受け付けた各種操作に関する情報を、制御部16に出力する。
制御部16は、映像記録再生装置102の各部を制御する。制御部16は、補正処理制御部161と、データ蓄積制御部162と、検知処理制御部163とを備える。
補正処理制御部161は、映像処理部14の画像補正処理部142による画像補正処理を制御する。例えば、補正処理制御部161は、入力受付部15が、管理者等から、第3映像ストリーム303の画像補正処理の実行指示を受け付けると、画像補正処理部142に対して、画像補正処理を実行させる。また、例えば、補正処理制御部161は、入力受付部15が、管理者等から、第3映像ストリーム303の画像補正処理の停止指示を受け付けると、画像補正処理部142に対して、画像補正処理を停止させる。
また、補正処理制御部161は、地震動検知処理部141が地震動検知処理を行っている間、画像補正処理部142による画像補正処理を停止させる。より具体的には、補正処理制御部161は、地震動検知処理部141の第1処理部1411が地震動を検知した場合に、第2処理部1412が地震動検知処理を行っている間、画像補正処理部142による画像補正処理を停止させる。
データ蓄積制御部162は、メモリ17への第4映像ストリーム304,および第5映像ストリーム305の蓄積動作を制御する。
具体的には、データ蓄積制御部162は、入力受付部15が、管理者等からの地震動検知処理の開始指示を受け付けると、記録部12から、地震動検知処理に使用するための第2映像ストリーム302を抽出してデコード部13に出力する。データ蓄積制御部162は、当該第2映像ストリーム302をデコード部13にデコード処理させた後の第4映像ストリーム304、または第5映像ストリーム305をメモリ17に出力して、蓄積させる。
第4映像ストリーム304、および第5映像ストリーム305は、ともに、地震動検知のための解析用の映像ストリームである。
第4映像ストリーム304は、複数の撮像装置101のうち、任意の1台の撮像装置が撮像した映像の映像ストリームである。当該第4映像ストリーム304を用いて、地震動検知処理部141の第1処理部1411が、地震動検知処理によって、地震動有無の1次判定を行う。データ蓄積制御部162は、第1処理部1411が地震動有無の1次判定を行う際に、任意の1台の撮像装置が撮像した映像の第1映像ストリーム301を記録部12から抽出し、第2映像ストリーム302としてデコード部13に出力する。データ蓄積制御部162は、当該第2映像ストリーム302をデコード部13にデコード処理させた後の第4映像ストリーム304をメモリ17に出力して、蓄積させる。
ここで、地震動有無の1次判定で使用される第4映像ストリーム304の映像を撮像した撮像装置101を、1次判定用撮像装置ともいうものとする。
複数の撮像装置101のうち、どの撮像装置101を1次判定用撮像装置とするかは、予め、管理者等が、入力装置106から設定すればよい。入力受付部15は、管理者等による当該設定を受け付け、データ蓄積制御部162が受け付けた情報に基づき、該当の撮像装置101を特定するようにする。また、データ蓄積制御部162は、1次判定用撮像装置をランダムに切り替えるようにしてもよい。
管理者等が1次判定用撮像装置を設定する際は、いたずらされる可能性が低い撮像装置101、または地震の際に壊れる可能性の低い撮像装置101等を選択するようにするとよい。これにより、第1処理部1411での地震検知処理における、地震動の誤検知を低減させることができる。
第5映像ストリーム305は、1次判定用撮像装置以外の撮像装置101が撮像した映像の映像ストリームである。当該第5映像ストリーム305を用いて、地震動検知処理部141の第2処理部1412が、地震動検知処理によって、地震動有無の2次判定を行う。データ蓄積制御部162は、第2処理部1412が地震動有無の2次判定を行う際に、1次判定用撮像装置以外の撮像装置101が撮像した映像の第1映像ストリーム301を記録部12から抽出し、第2映像ストリーム302としてデコード部13に出力する。データ蓄積制御部162は、当該第2映像ストリーム302をデコード部13にデコード処理させた後の第5映像ストリーム305をメモリ17に出力して、蓄積させる。
ここで、地震動有無の2次判定で使用される第5映像ストリーム305の映像を撮像した、1次判定用撮像装置以外の撮像装置101を、2次判定用撮像装置ともいうものとする。
また、データ蓄積制御部162は、第1処理部1411あるいは第2処理部1412が地震動検知処理を行った結果、地震動を検知しなかった場合に、メモリ17に蓄積させている第4映像ストリーム304、または第5映像ストリーム305を削除し、メモリ17を開放する。
地震動検知処理部141の詳細については後述する。
メモリ17は、データ蓄積制御部162が、記録部12から抽出し、デコード部13によってデコード処理された後の第4映像ストリーム304、または第5映像ストリーム305を蓄積する。
検知処理制御部163は、映像処理部14の地震動検知処理部141による地震動検知処理を制御する。例えば、検知処理制御部163は、入力受付部15が、管理者等からの、地震動検知処理の開始指示を受け付けると、地震動検知処理部141に対して、地震動検知処理を実行させる。
映像処理部14は、映像取得部11が撮像装置101から取得し、デコード部13がデコード処理を行った後の映像ストリームである第3映像ストリーム303に対して画像補正処理を行い、第4映像ストリーム304、または第5映像ストリーム305に対し地震動検知処理を行う。
映像処理部14は、地震動検知処理部141と、画像補正処理部142と、切替スイッチSWAとを備える。
また、地震動検知処理部141は、第1処理部1411と、第2処理部1412と、通知処理部1413と、切替スイッチSWBとを備える。
画像補正処理部142は、補正処理制御部161からの制御に基づき、デコード部13が出力した第3映像ストリーム303の画像補正処理を行う。画像補正処理とは、この実施の形態1では、画像または映像をより良く見せるための処理をいい、例えば、超解像処理である。なお、これは一例に過ぎず、画像補正処理は、超解像処理以外の画像補正処理であってもよい。
例えば、入力受付部15が、管理者等から画像補正処理を行う旨の指示を受け付けると、補正処理制御部161は、切替スイッチSWAの端子1と端子3とを接続する制御信号を出力する。これにより、画像補正処理部142は、画像補正処理を行うようになる。画像補正処理部142は、画像補正処理済みの第3映像ストリーム303を、第6映像ストリーム306として出力処理部18に出力する。
また、例えば、入力受付部15が、管理者等から画像補正処理を停止させる旨の指示を受け付けた場合、あるいは、地震動検知処理部141が地震動検知処理において地震動を検知した場合、補正処理制御部161は、切替スイッチSWAの端子1と端子2とを接続する制御信号を出力する。これにより、デコード部13から出力された第3映像ストリーム303は、画像補正処理部142によって画像補正処理が実施されることなく、第6映像ストリーム306として映像処理部14から出力処理部18に出力される。
地震動検知処理部141は、映像取得部11が取得した映像に含まれる被写体に動きがあったかどうかに基づき、地震動を検知する地震動検知処理を行う。
地震動検知処理部141による地震動検知処理は、検知処理制御部163からの制御に基づいて行われる。具体的には、例えば、検知処理制御部163は、入力受付部15が、管理者等からの、地震動検知処理の開始指示を受け付けると、地震動検知処理部141の第1処理部1411に対して、地震動検知処理を実行させる。
第1処理部1411は、1次判定用撮像装置から取得した映像について、地震動検知処理によって、地震動有無の1次判定を行う。具体的には、第1処理部1411は、メモリ17から、データ蓄積制御部162が蓄積させた1次判定用撮像装置の第4映像ストリーム304を取得し、当該取得した第4映像ストリーム304に画像変化があったかどうかに基づき地震動の有無を判断する地震動検知処理を行い、地震動を検知する。
図5Aおよび図5Bは、実施の形態1において、第1処理部1411が地震動の有無を判断するパターンの一例を説明するための図である。
第1処理部1411は、図5A,図5Bに示すように、第4映像ストリーム304の映像の1フレームである画像を複数のブロックに分割し、分割したブロックごとに、画像に含まれるオブジェクトを検出する。そして、第1処理部1411は、当該ブロックごとに検出されたオブジェクトに、動き、すなわち、画像変化があったかどうかを判断することで、ブロックごとに画像変化があったかどうかを判断する。さらに、第1処理部1411は、予め設定された条件を満たす画像変化があったかどうかに基づき地震動の有無を判断する。
図5Aは、画像に含まれるオブジェクトに、地震動以外による動きがあった場合を示す図であり、地震動が発生していない通常時の画像変化の一例を示している。
図5Bは、画像に含まれるオブジェクトに、地震動による動きがあった場合を示す図であり、地震動発生時の画像変化の一例を示している。
なお、図5A,図5Bでは、第1処理部1411は、画像に含まれるオブジェクトとして、PC(Personal Computer)51、電球52、花瓶53、および人物54を検出したものとしている。
また、図5A,図5Bは、説明の簡単のため、第4映像ストリーム304の映像の1フレームである画像内にオブジェクトの動きを示しているが、画像変化があるかどうかの判断は、一定期間に1次判定用撮像装置で撮像された映像の映像ストリーム304中の複数フレームの画像におけるオブジェクトの動きを比較することで行われる。
したがって、データ蓄積制御部162は、一定期間内に1次判定用撮像装置が撮像した映像の第1映像ストリーム301を抽出し、第4映像ストリーム304としてメモリ17に蓄積させるようにする。一定期間をどの程度の期間とするかは、管理者等が適宜設定可能とする。例えば、管理者等が、一定期間を3分間と設定していたとすると、データ蓄積制御部162は、記録部12に記憶されている最新の第1映像ストリーム301の取得日時から3分遡った期間の、1次判定用撮像装置で撮像された映像の第1映像ストリーム301を抽出し、第4映像ストリーム304としてメモリ17に蓄積させるようにする。
通常時は、図5Aに示すように、画像に含まれるオブジェクトのうち、PC51、電球52、または、花瓶53は、故意に動かさない限り過剰に動くことは少ないため、これらのオブジェクトを含むブロックには画像変化はないと判断される。一方、人物54は自由に移動する。このため、人物54が移動する可能性のある領域が撮像されているブロックでは、通常時でも、画像変化があると判断されることがある。図5Aにおいては、人物54の移動により、画像上の一部のブロックでのみ、画像変化があると判断される(図5Aにおける、ブロック501,502参照)。
このように、通常時は、物または背景等、故意に動かさない限り過剰に動くことが少ないオブジェクトを含むブロックでは画像変化はないと判断され、人物54等、移動するオブジェクトを含むブロックでのみ画像変化があると判断され得る。
移動するオブジェクトを含むブロックでのみ画像変化があっても、第1処理部1411は、地震動なしと判断する。
なお、第1処理部1411は、既存の画像認識処理、または、パターンマッチングの技術等を用いて、オブジェクトの検出を行うようにすればよい。また、花瓶53等、通常時に動きがないオブジェクトと、人物54等、通常時に動きがあるオブジェクトの定義は、予め、管理者等が設定しておくようにすればよい。
一方、地震動発生時は、図5Bに示すように、通常時は画像変化があるはずのないブロックにおいても、画像変化があると判断される。例えば、地震動発生時は、花瓶53が動くため、通常時は画像変化があるはずのない図5Bのブロック503においても、画像変化があると判断される。
この場合、第1処理部1411は、地震動ありと判断する。
このように、第1処理部1411は、映像取得部11が取得した、1次判定用撮像装置で撮像された映像の第4映像ストリーム304の画像を複数のブロックに分割し、複数フレームの画像を比較し、当該分割したブロックのうち、通常時は画像変化がないはずのブロックにおいて画像変化があると判断された場合に、地震動ありと判断する。
なお、上述した例では、第1処理部1411は、分割したブロックのうち、通常時は画像変化がないはずのブロックにおいて画像変化があると判断されたか否かという条件に基づき、地震動の有無を判断するものとした。しかし、これは一例に過ぎず、第1処理部は、その他の条件に基づき、地震動の有無を判断してもよく、第1処理部1411が、地震動の有無を判断するための条件は、適宜設定可能である。
例えば、第1処理部1411は、第4映像ストリーム304の画像を複数のブロックに分割し、分割したすべてのブロックにおいて画像変化があると判断された場合に、地震動ありと判断し、分割したすべてのブロックにおいて画像変化がないと判断された場合には、地震動なしと判断するようにしてもよい。
また、例えば、第1処理部1411は、第4映像ストリーム304の画像を複数のブロックに分割し、分割したブロックのうち、画像変化があると判断されたブロックの数が閾値以上である場合には地震動ありと判断し、分割したブロックのうち、画像変化があると判断されたブロックの数が閾値未満である場合には地震動なしと判断するようにしてもよい。
また、例えば、第1処理部1411は、特定のオブジェクトの動きの加速度(cm/秒/秒)が予め設定された閾値以上かどうかを判定し、予め設定された閾値以上であれば地震動あり、予め設定された閾値未満であれば地震動なしと判断するようにしてもよい。
図6は、実施の形態1において、第1処理部1411が、特定のオブジェクトの動きの加速度が予め設定された閾値以上かどうかによって地震動の有無を判断する動作の一例の概念図である。
例えば、第1処理部1411は、図6に示すように、複数フレームの第4映像ストリーム304の画像から、特定のオブジェクトを検出する。ここでは、特定のオブジェクトを花瓶61とする。なお、花瓶61の特定は、例えば、既存の画像認識処理、または、パターンマッチング等の技術を用いて行えばよい。
第1処理部1411は、複数フレームの第4映像ストリーム304の画像を比較して、花瓶61の動きの加速度を算出する。
そして、第1処理部1411は、算出した加速度が、予め設定された閾値以上かどうかを判定し、予め設定された閾値以上であれば地震動あり、予め設定された閾値未満であれば地震動なしと判断する。
さらに、例えば、第1処理部1411は、複数フレームの第4映像ストリーム304の画像をもとに、花瓶61の動きを検出し、当該動きが継続して検出された時間を振動継続時間(秒)として算出して、加速度に加え、当該振動継続時間も考慮して、地震動の有無を判断するようにしてもよい。具体的には、例えば、第1処理部1411は、花瓶61の加速度が予め設定された閾値以上であり、かつ、振動継続時間が予め設定された閾値以上である場合に、地震動ありと判断し、それ以外は地震動なしと判断するようにしてもよい。つまり、第1処理部1411は、花瓶61の急な動きを検出したとしても、それが設定された時間継続しなければ、地震動はないと判断する。なお、振動継続時間は、例えば、撮像装置101の1秒あたりのフレーム数(fps)値から算出できる。
このように、加速度に加え、振動継続時間も考慮して地震動の有無を判断するようにすることで、例えば、誰かが撮像装置101の向きを故意に変えた等、いたずらによる画像変化を地震動ありと誤判断してしまうことを排除できる。
また、例えば、第1処理部1411は、花瓶61の振動継続時間のみを考慮し、花瓶61の振動継続時間が予め設定された閾値かどうかを判定し、予め設定された閾値以上であれば地震動あり、予め設定された閾値未満であれば地震動なしと判断するようにしてもよい。
上述した例で、予め設定された加速度の閾値、または、予め設定された振動継続時間の閾値は、例えば、管理者等が、映像記録再生装置102の設置時に、入力装置106から設定するようにしてもよいし、入力装置106から地震動検知処理の開始を指示する際に、その都度、設定するようにしてもよい。
また、上述した例では、第1処理部1411は、花瓶61等、画像内で特定のオブジェクトを検出し、当該特定のオブジェクトの動きの加速度、あるいは、振動継続時間が、予め設定された閾値以上であるかどうかによって、地震動の有無を判断するものとしたが、これに限らない。例えば、第1処理部1411は、オブジェクトの検出に代えて、画像の輝度もしくはパターン、または、符号化データのパターンを検出し、当該画像の輝度もしくはパターン、または、符号化データのパターンの変化量が、予め設定された閾値以上であるかどうかによって、地震動の有無を判断するようにしてもよい。
また、上述した例のように、花瓶61等、画像内の特定のオブジェクトの動きの加速度、あるいは、振動継続時間に基づいて地震動の有無を判断することに限らず、第1処理部1411は、例えば、震度が予め設定された閾値以上であるかどうかによって、地震動の有無を判断するようにしてもよい。予め設定された震度の閾値は、例えば、管理者等が、映像記録再生装置102の設置時に、入力装置106から設定するようにしてもよいし、入力装置106から地震動検知処理の開始を指示する際に、その都度、設定するようにしてもよい。
また、第1処理部1411は、震度を、画像内の特定のオブジェクトの動きの加速度から算出するようにすればよい。加速度から震度を計測する方法は、既存の技術であるため詳細な説明を省略する。
なお、上述したような、地震動の有無の判断に用いられる条件は、組み合わせて用いられてもよい。
例えば、第1処理部1411は、複数フレームの第4映像ストリーム304の画像それぞれについて、複数のブロックに分割し、画像変化があるはずのないブロックにおいて、画像変化があると判断されるかどうかを判定する。そして、複数フレームの第4映像ストリーム304の画像それぞれについて、画像変化があるはずのないブロックにおいて画像変化があると判断された場合、第1処理部1411は、画像変化が検出されたブロックに含まれるオブジェクトについて、動きの加速度が予め設定された閾値であるかどうかを判定する。そして、第1処理部1411は、動きの加速度が予め設定された閾値以上であった場合に、地震動ありと判断する等である。
以上のように、第1処理部1411は、1次判定用撮像装置で撮像された映像の第4映像ストリーム304について、予め設定された条件に基づく画像変化があったかどうかによって地震動の有無を判断することで、地震動を検知する。
図3の説明に戻る。
第1処理部1411は、地震動ありと判断した場合、すなわち、地震動を検知した場合、切替スイッチSWBの端子1と端子2とを接続する制御信号を送信するとともに、地震動を検知した旨を第2処理部1412に通知する。当該通知をうけて、第2処理部1412は、地震動検知処理を行う。第2処理部1412の詳細については後述する。
また、第1処理部1411は、地震動を検知した場合、補正処理制御部161に地震動を検知した旨を通知する。補正処理制御部161は、切替スイッチSWAの端子1と端子2とを接続し、画像補正処理部142による画像補正処理が行われないようにする。これにより、画像補正処理部142が、画像補正処理を行う指示を受け付け、画像補正処理を行っていたとしても、当該画像補正処理が強制的に停止される。デコード部13から出力された第3映像ストリーム303は、画像補正処理が実施されることなく、第6映像ストリーム306として映像処理部14から出力処理部18に出力されるようになる。
なお、ここでは、第1処理部1411が地震動を検知した場合には、補正処理制御部161は、画像補正処理部142による画像補正処理を強制的に停止させるものとした。しかし、これに限らず、補正処理制御部161は、映像処理部14内でのリソースの配分について、第2処理部1412および通知処理部1413による処理への配分を、画像補正処理部142による処理への配分よりも優先するようにしてもよい。
一方、第1処理部1411は、地震動を検知しなかった場合、切替スイッチSWBの端子1と端子2とを接続しないようにする。すなわち、第1処理部1411は、切替スイッチSWBを制御することで、第2処理部1412で地震動検知処理が行われないようにする。
また、第1処理部1411が地震動を検知しなかった場合、第1処理部1411は、データ蓄積制御部162に地震動を検知しなかった旨を通知する。データ蓄積制御部162は、メモリ17に蓄積させている、地震動検知の判定に使用された第4映像ストリーム304を、メモリ17から消去する。その後、データ蓄積制御部162は、第1処理部1411が地震動検知処理を実行している間は、空いたメモリ17の領域に、順次、新たな第4映像ストリーム304を蓄積させる。
このように、第1処理部1411が地震動を検知したか否かによって、画像補正処理部142による処理が制御される。
すなわち、映像処理部14において、画像補正処理部142による処理と、第2処理部1412および通知処理部1413による処理とが、排他的に実施されることとなる。
ここで、図7A,図7Bは、実施の形態1において、第2処理部1412による処理開始前後での映像処理部14のリソース配分の一例のイメージを示す図である。
なお、リソースとは、処理能力のことをいう。
図7Aは、第1処理部1411による地震動検知処理の実行時、すなわち、第2処理部1412による地震動検知処理が開始される前の、映像処理部14のリソース配分割合のイメージを示している。
図7Bは、第2処理部1412による地震動検知処理の実行時の映像処理部14のリソースの配分割合のイメージを示している。
図7Aに示すように、第1処理部1411による地震動検知処理の実行時においては、当該地震動検知処理には、映像処理部14のリソースの一部のみが配分され、画像補正処理部142による画像補正処理も並行して実施できるようになっている。
これに対し、図7Bに示すように、第2処理部1412による地震動検知処理が開始された後は、第2処理部1412のリソース確保のため、画像補正処理部142の画像補正処理は停止され、画像補正処理部142には、映像処理部14のリソースが配分されない。
第1処理部1411において地震動が検知された場合は、地震が発生した確率が高く、緊急時である可能性が高いと判断でき、より迅速に、続いて地震動有無の2次判定を行う際の地震動検知処理の処理スピードを向上させる必要がある。
一方で、一般に、映像処理部14のリソースは、通常時に必要な程度しか確保されておらず、緊急時において、画像補正処理部142による画像補正処理と第2処理部1412による地震動検知処理とを並行して最高値で動作させることは難しい。
そこで、図7A,図7Bを用いて説明したように、実施の形態1の映像記録再生装置102は、映像処理部14内のリソースを配分して地震動検知処理部141と画像補正処理部142の制御を実施する。このことで、実施の形態1の映像記録再生装置102は、映像処理部14全体の処理負荷を極力増加させることなく、通常時は、映像記録再生装置102内で地震動検知処理と画像補正処理とを並行して実施でき、かつ、緊急時は、迅速に地震動有無の2次判定を優先して実施できるようにしている。
図3の説明に戻る。
第2処理部1412は、第1処理部1411から地震動を検知した旨の通知が出力されると、2次判定用撮像装置から取得した映像について、地震動検知処理を行う。具体的には、第2処理部1412は、メモリ17から、2次判定用撮像装置が撮像した映像に基づく第5映像ストリーム305を取得し、当該取得した第5映像ストリーム305について画像変化があったかどうかを判断することで、地震動検知処理を行う。
ここで、第2処理部1412が行う画像変化があったかどうかの判断の具体的な動作は、第1処理部1411が行う動作と同様であるので、詳細な説明を省略する。第1処理部1411が行う地震動検知処理と第2処理部1412が行う地震動検知処理との違いは、地震動検知処理を行う対象となる映像ストリームが、1台の1次判定用撮像装置が撮像した映像に基づく第4映像ストリーム304か、1台または複数台の2次判定用撮像装置が撮像した映像に基づく第5映像ストリーム305かである。2次判定用撮像装置が複数台の場合、後述のとおり、実施の形態1における第2処理部1412は、複数の第5映像ストリーム305全てを並行処理する。以下、2次判定用撮像装置は複数台であるとして、説明する。
図8は、実施の形態1において、第2処理部1412が、地震動の有無を判断する動作の一例の概念図である。
図8では、一例として、第1処理部1411が、図6で説明したように、特定のオブジェクトの動きの加速度が予め設定された閾値以上かどうかによって地震動の有無を判断した場合の、第2処理部1412による地震動の有無の判断動作を示している。
地震動有無の2次判定において、地震動の有無を判断する対象となる複数フレームの抽出条件は、地震動有無の1次判定の場合と同じである。例えば、一定期間が3分間に設定されており、第1処理部1411が、データ蓄積制御部162によってメモリ17に蓄積された、最新の映像フレームの取得日時から3分遡った期間の第4映像ストリーム304について、地震動検知処理を行ったとする。この場合、データ蓄積制御部162は、記録部12に記憶されている最新の第1映像ストリーム301の取得日時から3分遡った期間の、2次判定用撮像装置でそれぞれ撮像された映像の第1映像ストリーム301を、記録部12から抽出し、第5映像ストリーム305としてメモリ17に蓄積させている。そして、第2処理部1412は、当該メモリ17に蓄積されている第5映像ストリーム305に対して、地震動検知処理を行う。
第2処理部1412は、第5映像ストリーム305について、2次判定用撮像装置である撮像装置101ごとにまとめて映像ストリーム群とし、映像ストリーム群ごとに、特定のオブジェクトの動きの加速度(cm/秒/秒)を算出する。図8は、特定のオブジェクトが花瓶61である場合を示している。
第2処理部1412は、全ての2次判定用撮像装置について、撮像装置101ごとの特定のオブジェクトについて算出した加速度が、予め設定された閾値以上かどうかを判定する。全ての特定のオブジェクトの加速度が予め設定された閾値以上であれば地震動あり、特定のオブジェクトの加速度が1つでも予め設定された閾値未満であれば地震動なしと判断する。
あるいは、第2処理部1412は、さらに、特定のオブジェクトの動きの振動継続時間(秒)を算出して、全ての特定のオブジェクトの加速度が予め設定された閾値以上であり、かつ、全ての特定のオブジェクトの振動継続時間が予め設定された閾値以上である場合に、地震動ありと判断し、それ以外は地震動なしと判断するようにしてもよい。
個々の撮像装置101の映像ストリームに対する画像変化があったかどうかの判断に使用する、予め設定された条件は、第2処理部1412と第1処理部1411とでは、同じ条件とすることが好ましい。
このように、第1処理部1411において、1次判定用撮像装置の第4映像ストリーム304に関して地震動ありと判断された後、第2処理部1412において、2次判定用撮像装置の第5映像ストリーム305に関して地震動の有無の判断を行うようにする。つまり、第1処理部1411では、複数の撮像装置101のうち、1台の1次判定用撮像装置のみを選択して、当該1次判定用撮像装置の第4映像ストリーム304に基づき、地震動の有無の1次判定を行う。第1処理部1411で地震動ありと判断されれば、第2処理部1412において、1次判定用撮像装置以外の撮像装置101である2次判定用撮像装置の第5映像ストリーム305に基づき、地震動の有無の2次判定を行う。このような構成とすることで、地震動の有無の1次判定での判断結果に誤りがないかどうかを確認する。
このように、第1処理部1411と第2処理部1412とによって、2段階で地震動検知処理を行うことで、例えば、1次判定用撮像装置とした特定の撮像装置101が、いたずら等により振動していた場合に地震動ありと判断してしまうといった地震動の誤検知を防ぎ、誤報率を減らすことができる。
また、まずは1つの撮像装置101に絞って地震動の有無の1次判定を行うようにすることで、地震動が発生していない通常時等には、無駄な処理を省略でき、映像記録再生装置102に対する処理負荷を低減することができる。
なお、この実施の形態1では、第2処理部1412は、複数の撮像装置101のうち、1次判定用撮像装置以外の全ての撮像装置101を2次判定用撮像装置とし、当該2次判定用撮像装置の第5映像ストリーム305に対して地震動検知処理を行うものとするが、第2処理部1412が地震動検知処理を行う対象は、これに限らない。例えば、予め、管理者等が、入力装置106から、1次判定用撮像装置以外の撮像装置101の中から1台または複数台を選択し、2次判定用撮像装置として指定しておくようにしてもよい。そして、第2処理部1412は、指定された2次判定用撮像装置全てに対して、地震動検知処理を行うようにしてもよい。
第2処理部1412は、地震動ありと判断した場合、すなわち、地震動を検知した場合、地震動を検知した旨を通知処理部1413に通知する。
また、第2処理部1412は地震動を検知した場合、補正処理制御部161に地震動を検知した旨を通知する。補正処理制御部161は、切替スイッチSWAの端子1と端子3とを接続し、画像補正処理部142による画像補正処理が行われるようにする。これにより、第1処理部1411によって地震動が検知され、強制的に停止されていた画像補正処理の強制停止状態も解除される。
このように、補正処理制御部161は、実質的に、第2処理部1412が地震動検知処理を行っている間に限り、画像補正処理部142による画像補正処理を停止させる。
また、第2処理部1412が地震動を検知した場合、検知処理制御部163に地震動を検知した旨を通知し、検知処理制御部163は、切替スイッチSWBの端子1と端子2との接続を解除する。これにより、第2処理部1412による地震動検知処理が行われなくなる。また、検知処理制御部163は、加えて、第1処理部1411による地震動検知処理も停止させるようにしてもよい。このように、地震動検知処理で使用されていた映像処理部14のリソースを、可能な限り、画像補正処理部142による画像補正処理に割り当て、地震発生後の周囲の様子が撮像された映像を、可能な限り画質良く出力処理部18から出力できるようにする。
映像記録再生装置102が、例えば建物等の監視システムに用いられるような場合、地震動ありと一旦判断された後は、一定時間は、地震動の検知をする必要はないため、このような、検知処理制御部163による制御は有効である。
一方、第2処理部1412は、地震動を検知しなかった場合、データ蓄積制御部162に地震動を検知しなかった旨を通知する。データ蓄積制御部162は、メモリ17に蓄積させている、地震動の有無の2次判定に使用された、第4映像ストリーム304、および第5映像ストリーム305を、メモリ17から消去する。
また、第2処理部1412は、地震動を検知しなかった場合、補正処理制御部161に地震動を検知しなかった旨を通知する。補正処理制御部161は、切替スイッチSWAの端子1と端子3とを接続し、画像補正処理部142による画像補正処理が行われるようにする。これにより、第1処理部1411によって地震動が検知されたために強制的に停止されていた、画像補正処理の強制停止状態も解除される。このように、第2処理部1412により地震動検知処理が行われた後は、第2処理部1412が地震動を検知した場合も、地震動を検知しなかった場合も、補正処理制御部161は、画像補正処理部142による画像補正処理が行われるように制御を行う。
通知処理部1413は、第2処理部1412から、地震動を検知した旨の通知が出力されると、当該通知を出力処理部18に出力する。
このとき、通知処理部1413は、メモリ17に蓄積されている、第4映像ストリーム304、および第5映像ストリーム305を取得し、あわせて第7映像ストリーム307として出力処理部18に出力する。
データ蓄積制御部162は、通知処理部1413が第7映像ストリーム307を出力処理部18に出力すると、メモリ17に蓄積させている、地震動検知有無の判定に使用された、第4映像ストリーム304、および第5映像ストリーム305を、メモリ17から消去する。
出力処理部18は、映像処理部14から出力される第6映像ストリーム306、および第7映像ストリーム307等を、モニタ105、入退室管理装置107、放送装置110、または、携帯端末104に出力する。
具体的には、出力処理部18は、通知処理部1413から地震動を検知した旨の通知が出力されない場合は、映像処理部14の画像補正処理部142が画像補正処理を行った後の第6映像ストリーム306、または、画像補正処理部142が画像補正処理を行っていない場合は、デコード部13から映像処理部14を経由して出力された第6映像ストリーム306を、モニタ105出力し、当該第6映像ストリームに基づく映像を表示させる。
管理者等は、モニタ105に表示された映像等を確認し、監視対象領域の監視を行う。
出力処理部18は、通知処理部1413から地震動を検知した旨の通知が出力された場合は、モニタ105に、地震動警報を表示させ、管理者等に地震動の発生を通知する。表示させる地震動警報は、例えば、「地震発生」等、予め設定されたメッセージである。出力処理部18は、あわせて、通知処理部1413から出力される第7映像ストリーム307に基づく映像を表示させるようにしてもよい。
管理者等は、モニタ105に表示されたメッセージ等を確認し、地震動があったことを検知する。また、管理者等は、実際に地震が発生したことによる揺れであるかどうかの確認等を行う。
また、出力処理部18は、通知処理部1413から地震動を検知した旨の通知が出力された場合は、ネットワーク103を介して、入退室管理装置107、放送装置110、および携帯端末104に地震動警報を送信する。出力処理部18は、携帯端末104に、あわせて、通知処理部1413から出力される第7映像ストリーム307を出力するようにしてもよい。
入退室管理装置107は、当該地震動警報を受信し、電気錠108の緊急開錠等を行う。
また、放送装置110は、当該地震動警報を受信し、地震動発生を知らせる警報を音声出力装置から出力する。
また、携帯端末104は、当該地震動警報を受信し、警報等を、スピーカ等の音声出力装置から出力する。通知処理部1413から、第7映像ストリーム307が出力される場合には、ディスプレイ等の表示部に当該第7映像ストリーム307に基づく映像を再生させるようにしてもよい。これにより、携帯端末104のユーザは、地震発生時の様子を映像で確認することができる。
また、通知処理部1413は、携帯端末104に、画像補正処理部142等から出力される第6映像ストリーム306を送信し、携帯端末104は、当該第6映像ストリーム306に基づく映像を表示部に再生させるようにしてもよい。これにより、携帯端末104のユーザは、地震発生後の周囲の様子を確認することができる。
上述のとおり、第2処理部1412が地震動を検知すると、地震動を検知した旨を補正処理制御部161に通知し、補正処理制御部161は、強制的に停止されていた画像補正処理の強制停止状態を解除する。したがって、画像補正処理部142は、地震発生後に撮像装置101から取得されデコード処理された第3映像ストリーム303について、画像補正処理を実施することができる。
なお、この実施の形態1では、図3に示すように、映像記録再生装置102が記録部12とメモリ17とを備えるものとした。これに限らず、記録部12とメモリ17とは、映像記録再生装置102の外部の、映像記録再生装置102が参照可能な場所に備えられ、映像記録再生装置102は、ネットワーク103を介して記録部12またはメモリ17にアクセスするようにしてもよい。
図9A,図9Bは、この発明の実施の形態1に係る映像記録再生装置102のハードウェア構成の一例を示す図である。
この発明の実施の形態1において、映像取得部11と、デコード部13と、映像処理部14と、入力受付部15と、制御部16と、出力処理部18の各機能は、処理回路901により実現される。すなわち、映像記録再生装置102は、取得した映像ストリームに基づき、画像補正処理、または、地震動検知処理の制御を行うための処理回路901を備える。
処理回路901は、図9Aに示すように専用のハードウェアであっても、図9Bに示すようにメモリ905に格納されるプログラムを実行するCPU(Central Processing Unit)906であってもよい。
処理回路901が専用のハードウェアである場合、処理回路901は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路901がCPU906の場合、映像取得部11と、デコード部13と、映像処理部14と、入力受付部15と、制御部16と、出力処理部18の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、映像取得部11と、デコード部13と、映像処理部14と、入力受付部15と、制御部16と、出力処理部18は、HDD(Hard Disk Drive)902、メモリ905等に記憶されたプログラムを実行するCPU906、またはシステムLSI(Large−Scale Integration)等の処理回路により実現される。また、HDD902、またはメモリ905等に記憶されたプログラムは、映像取得部11と、デコード部13と、映像処理部14と、入力受付部15と、制御部16と、出力処理部18の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ905とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはDVD(Digital Versatile Disc)等が該当する。
なお、映像取得部11と、デコード部13と、映像処理部14と、入力受付部15と、制御部16と、出力処理部18の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、映像取得部11については専用のハードウェアとしての処理回路701でその機能を実現し、デコード部13と、映像処理部14と、入力受付部15と、制御部16と、出力処理部18については処理回路がメモリ905に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
記録部12と、メモリ17は、例えば、HDD902を使用する。なお、これは一例にすぎず、記録部12とメモリ17は、DVD、またはメモリ905等によって構成されるものであってもよい。
また、映像記録再生装置102は、撮像装置101、入退室管理装置107、放送装置110、および携帯端末104等の外部機器との通信を行う、入力インタフェース装置903、および出力インタフェース装置904を有する。
この実施の形態1に係る映像記録再生装置102による地震動検知処理の動作について説明する。
図10は、この発明の実施の形態1に係る映像記録再生装置102の動作を説明するフローチャートである。
なお、以下の動作説明では、映像記録再生装置102は、ネットワーク103を介して撮像装置(1)〜撮像装置(n)の複数の撮像装置101と接続されており、記録部12には、図4に示すような情報が記録されているものとする。
また、第1処理部1411、および第2処理部1412は、1分間に撮像装置101で撮像された複数の映像フレームで検出された特定のオブジェクトの動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上であることを、地震動ありと判断する条件として、地震動検知処理を行うものとする。
また、図10のフローチャートでは省略しているが、当該図10のフローチャートの動作の開始前に、管理者等は、入力装置106から、画像補正処理の実行を指示し、補正処理制御部161は、当該指示を受け、画像補正処理部142に、画像補正処理を実施させるように制御している状態とする。
入力受付部15は、入力装置106から、管理者等による地震動検知処理の開始指示を受け付けるまで待機し(ステップST1001の“NO”の場合)、地震動検知処理の開始指示を受け付けると(ステップST1001の“YES”の場合)、地震動検知処理の開始指示を受け付けた旨の情報を制御部16に出力する。
なお、この実施の形態1では、管理者等が、入力装置106から、地震動検知処理の開始指示を入力するものとするが、地震動検知処理の開始制御は、これに限らない。例えば、入退室管理装置107が、人の在不在を検知するようにし、人を検知した場合に当該人を検知した旨を映像記録再生装置102に通知する。そして、映像記録再生装置102では、当該人を検知した旨が通知されると、入力受付部15が当該通知を受け付け、地震動検知処理開始指示を受け付けた旨の情報を制御部16に出力するようにしてもよい。
データ蓄積制御部162は、記録部12から、1次判定用撮像装置が撮像した映像の第1映像ストリーム301を抽出し、デコード部13にデコード処理させた後、第4映像ストリーム304としてメモリ17に蓄積させる(ステップST1002)。ここでは、予め管理者等によって、撮像装置(1)が1次判定用撮像装置に指定されているものとする。この場合、このステップST1002において、データ蓄積制御部162は、記録部12から、撮像装置(1)が撮像した映像の第1映像ストリーム301のうち、最新の映像ストリームの取得日時から1分間遡った、2016/12/01の19:59:00〜20:00:00までの第1映像ストリーム301を抽出し、デコードさせた後、第4映像ストリーム304としてメモリ17に蓄積させる。
第1処理部1411は、メモリ17から、ステップST1002においてデータ蓄積制御部162が蓄積させた撮像装置(1)の2016/12/01の19:59:00〜20:00:00までの第4映像ストリーム304を取得し、当該取得した第4映像ストリーム304を画像解析し、特定のオブジェクトを検出する。
そして、第1処理部1411は、検出したオブジェクトについて、動きの加速度および振動継続時間を算出し、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上であるかどうかを判定する(ステップST1003)。
ステップST1003において、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上であると判定した場合(ステップST1003の“YES”の場合)、第1処理部1411は、切替スイッチSWBの端子1と端子2とを接続して、地震動を検知した旨を第2処理部1412に通知する。また、第1処理部1411は、地震動ありと判断し、地震動が検知された旨を、データ蓄積制御部162と補正処理制御部161に通知する。
ステップST1003において、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上、ではないと判定した場合(ステップST1003の“NO”の場合)、すなわち、動きの加速度が予め設定された閾値未満、または、振動継続時間が予め設定された閾値未満の場合、第1処理部1411は、データ蓄積制御部162に地震動が検知されなかった旨を通知し、データ蓄積制御部162は、メモリ17を開放する(ステップST1004)。具体的には、データ蓄積制御部162は、ステップST1002においてメモリ17に蓄積させた撮像装置(1)の2016/12/01の19:59:00〜20:00:00までの第4映像ストリーム304を消去する。そして、再び、ステップST1002に戻り、データ蓄積制御部162は、この時点で最新の映像フレームの取得日時から1分間遡った期間の第1映像ストリーム301を新たに抽出し、デコードさせた後、新たに第4映像ストリーム304としてメモリ17に蓄積させ、以降の処理に進む。
また、ステップST1004において、第1処理部1411は、切替スイッチSWBの端子1と端子2とを接続しないようにし、第2処理部1412で地震動検知処理が行われないようにしておく。
なお、第1処理部1411は、取得した第4映像ストリーム304を画像解析し、特定のオブジェクトを検出できなかった場合も、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上、でない(ステップST1003の“NO”の場合)と判定すればよい。
第1処理部1411から、地震動が検知された旨が通知されると、補正処理制御部161は、切替スイッチSWAの端子1と端子2とを接続し、画像補正処理部142による画像補正処理を強制的に停止する(ステップST1005)。
データ蓄積制御部162は、記録部12から、2次判定用撮像装置が撮像した映像の第1映像ストリーム301を抽出し、デコード部13にデコード処理させた後、第5映像ストリーム305としてメモリ17に蓄積させる(ステップST1006)。ここでは、撮像装置(2)〜(n)が2次判定用撮像装置に指定されているものとする。この場合、データ蓄積制御部162は、記録部12から、撮像装置(2)〜(n)が撮像した映像の第1映像ストリーム301のうち、2016/12/01の19:59:00〜20:00:00までの第1映像ストリーム301を抽出し、デコードさせた後、第5映像ストリーム305としてメモリ17に蓄積させる。このステップST1006でデータ蓄積制御部162が記録部12から撮像装置(2)〜(n)の第1映像ストリーム301を抽出する対象とする期間は、ステップST1002においてデータ蓄積制御部162が記録部12から撮像装置(1)の第1映像ストリーム301を抽出する対象とした期間と、同じ期間とする。
第2処理部1412は、メモリ17から、ステップST1006においてデータ蓄積制御部162が蓄積させた撮像装置(2)〜(n)の2016/12/01の19:59:00〜20:00:00までの第5映像ストリーム305を取得し、当該取得した第5映像ストリーム305について、撮像した撮像装置(2)〜(n)ごとにまとめて各映像ストリーム群とする。そして、第2処理部1412は、撮像装置101単位でまとめられた映像ストリーム群ごとに、当該映像ストリーム群に含まれる映像ストリーム305を画像解析し、特定のオブジェクトを検出し、当該特定のオブジェクトの動きの加速度および振動継続時間を算出する。
第2処理部1412は、撮像装置(2)〜(n)全ての映像ストリーム群において、検出したオブジェクトの、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上であるかどうかを判定する(ステップST1007)。
ステップST1007で、撮像装置(2)〜(n)のいずれかの映像ストリーム群において、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上、ではないものがあると判定した場合(ステップST1007の“NO”の場合)、第2処理部1412は、補正処理制御部161に地震動が検知されなかった旨を通知する。補正処理制御部161は、切替スイッチSWAの端子1と端子3とを接続し、画像補正処理部142による画像補正処理の強制停止状態を解除し、画像補正処理が行われるようにする(ステップST1008)。
また、第2処理部1412は、データ蓄積制御部162に地震動が検知されなかった旨を通知し、データ蓄積制御部162は、メモリ17を開放する(ステップST1004)。具体的には、データ蓄積制御部162は、ステップST1002,1006においてメモリ17に蓄積させた撮像装置(1)の2016/12/01の19:59:00〜20:00:00までの第4映像ストリーム304、および撮像装置(2)〜(n)の同期間の第5映像ストリーム305を消去する。そして、再び、ステップST1002に戻り、以降の処理に進む。
ステップST1007で、全ての映像ストリーム群において、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上であると判定した場合(ステップST1007の“YES”の場合)、第2処理部1412は、地震動を検知したと判断し、地震動を検知した旨を通知処理部1413、補正処理制御部161に通知する。
また、第2処理部1412は、地震動を検知した旨を検知処理制御部163に通知し、検知処理制御部163が、切替スイッチSWBの端子1と端子2との接続を解除する。検知処理制御部163は、加えて、第1処理部1411による地震動検知処理も停止させるようにしてもよい。
通知処理部1413は、地震動を検知した旨の通知を出力処理部18に出力する(ステップST1009)。このとき、通知処理部1413は、メモリ17に蓄積されている第4映像ストリーム304、および第5映像ストリーム305を取得し、あわせて第7映像ストリーム307として出力処理部18に出力するようにする。
補正処理制御部161は、切替スイッチSWAの端子1と端子3とを接続し、画像補正処理部142による画像補正処理の強制停止状態を解除し、画像補正処理が行われるようにする(ステップST1010)。具体的な動作は、ステップST1008と同様である。
出力処理部18は、映像処理部14から出力される第6映像ストリーム306、および第7映像ストリーム307等を、モニタ105、入退室管理装置107、放送装置110、または、携帯端末104に出力する(ステップST1011)。
データ蓄積制御部162は、メモリ17を開放する(ステップST1012)。具体的には、データ蓄積制御部162は、ステップST1002,1006においてメモリ17に蓄積させた撮像装置(1)の2016/12/01の19:59:00〜20:00:00までの第4映像ストリーム304、および撮像装置(2)〜(n)の同期間の第5映像ストリーム305を消去する。
なお、ステップST1005の動作とステップST1006の動作は、並行して行われるものとしてもよい。また、ステップST1009の動作とステップST1010の動作は、並行して行われるものとしてもよい。また、ステップST1010の動作とステップST1011の動作とが、並行して行われるようにしてもよい。
また、ステップST1012の動作は、ステップST1009の動作の後に行われるようになっていればよい。
また、ここでは、第1処理部1411が1次判定を行うものとしたが(図10のステップST1002〜ステップST1005)、これに限らず、当該第1処理部1411が行う1次判定は、1つまたは複数の撮像装置101側で行うようにしてもよい。この場合、映像記録再生装置102は、撮像装置101による1次判定の結果を取得し、1次判定以降の処理の制御を行うようにする。
以上のように、この実施の形態1によれば、映像記録再生装置102に搭載された監視制御装置は、撮像装置101が撮像した映像を取得する映像取得部11と、映像取得部11が取得した映像に画像変化があったかどうかに基づき地震動の有無を判断する地震動検知処理を行う地震動検知処理部141とを備えるように構成したので、振動センサを内蔵する等、外部処理装置を用いることなく、地震動の検知を実現することができる。また、監視システムへの、地震動検知のため新たな設備投資費用、または、映像記録再生装置102に地震動検知機能を追加するための費用を削減することができる。
また、この実施の形態1によれば、映像記録再生装置102に搭載された監視制御装置は、映像取得部11が取得した映像の画像補正処理を行う画像補正処理部142と、画像補正処理部142による画像補正処理の実行を制御する補正処理制御部161とを備え、補正処理制御部161は、地震動検知処理部141が地震動検知処理を行っている間、画像補正処理部142による画像補正処理を停止させるように構成したので、映像記録再生装置102における画像処理の基本機能を極力維持したまま、必要に応じて地震動検知処理にリソースを分配することで、映像記録再生装置102の処理負荷を増加させることなく地震動検知を行うことができる。
また、この実施の形態1によれば、映像取得部11は、複数の撮像装置101から映像を取得し、地震動検知処理部141は、複数の撮像装置101のうちの1次判定用撮像装置から取得した映像について、地震動検知処理を行う第1処理部1411と、第1処理部1411が地震動を検知した場合に、複数の撮像装置101のうちの2次判定用撮像装置から取得した映像について、地震動検知処理を行う第2処理部1412とを備え、補正処理制御部161は、第1処理部1411が地震動を検知した場合に、第2処理部1412が地震動検知処理を行っている間、画像補正処理部142による画像補正処理を停止させるように構成したので、第1処理部1411と第2処理部1412とによって、2段階で地震動検知処理を行うことで、例えば、1次判定用撮像装置が、いたずら等により振動していた場合に地震動ありと判断してしまうという地震動の誤検知を防ぎ、誤報率を減らすことができる。また、1つの撮像装置101に絞って地震動の有無の1次判定を行うようにすることで、地震動が発生していない通常時等には、無駄な処理を省略でき、映像記録再生装置102に対する処理負荷を低減することができる。また、1つの撮像装置101に絞って、地震動の有無の1次判定を行った結果、地震動があると判断された段階で、地震動検知処理にリソースを分配するようにすることで、より迅速に地震動検知処理を行う必要がある場合に、当該地震動検知処理の処理スピードを向上させ、より状況に応じたリソースの配分を行うことができる。
実施の形態2.
実施の形態1では、第1処理部1411によって地震動ありと判断されると、補正処理制御部161は、第2処理部1412が地震動検知処理を行っている間、画像補正処理部142による画像補正処理を強制的に停止させるようにしていた。
この実施の形態2では、第2処理部1412が地震動検知処理を行っている間も、画像補正処理部142による画像補正処理を実行したままとする実施の形態について説明する。
この実施の形態2でも、実施の形態1同様、一例として、映像記録再生装置102は、建物あるいは建物内の部屋等に出入りする人物等を監視する監視システムに用いられるものとする。
この実施の形態2の監視システムの構成は、実施の形態1において図1を用いて説明したものと同様であるため、重複した説明を省略する。この実施の形態2においては、監視システムに、2次判定用撮像装置である撮像装置101が複数台接続されていることを前提とする。
また、この実施の形態2の監視システムにおいて、映像記録再生装置102が地震動を検知した場合の、映像記録再生装置102から外部の装置への出力の概念は、実施の形態1において図2を用いて説明したものと同様であるため、重複した説明を省略する。
また、この実施の形態2の映像記録再生装置102の構成については、実施の形態1において図3を用いて説明したものと同様であるため、重複した説明を省略する。
この実施の形態2では、第2処理部1412、補正処理制御部161、および、データ蓄積制御部162の具体的な動作が、実施の形態1とは異なる。
この実施の形態2では、データ蓄積制御部162は、第1処理部1411が地震動を検知すると、複数台の2次判定用撮像装置を、m台(mは整数)ごとグループ分けし、当該グループごとに、m台の2次判定用撮像装置で撮像された複数の第1映像ストリーム301を記録部12から抽出し、デコード部13にデコードさせた後、第5映像ストリーム305としてメモリ17に蓄積させる。なお、m台とは、1台でも、2台でも、3台でも、または、それ以上であってもよく、予め管理者等が設定するものとすればよい。
第2処理部1412は、第1処理部1411が地震動を検知した場合に、グループ分けされた、複数の2次判定用撮像装置の撮像装置101から取得した映像について、当該グループごとに、地震動検知処理を行う。具体的には、第2処理部1412は、グループごとに、順次、データ蓄積制御部162がメモリ17に蓄積させた、m台の2次判定用撮像装置の第5映像ストリーム305について、地震動検知処理を行う。
また、補正処理制御部161は、第2処理部1412が地震動検知処理を行っている間であっても、画像補正処理部142による画像補正処理を強制的に停止させる制御は行わない。
この実施の形態2の映像記録再生装置102のハードウェア構成は、実施の形態1において図9を用いて説明したものと同様であるため、重複した説明を省略する。
図11は、この発明の実施の形態2に係る映像記録再生装置102の動作を説明するフローチャートである。
以下、図11に沿って、映像記録再生装置102の動作を説明する。
なお、以下の動作説明では、実施の形態1と同様、映像記録再生装置102は、ネットワーク103を介して撮像装置(1)〜撮像装置(n)の複数の撮像装置101と接続されており、記録部12には、図4に示すような情報が記録されているものとする。
また、第1処理部1411、および第2処理部1412は、1分間に撮像装置101で撮像された複数の映像フレームで検出された特定のオブジェクトの動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上であることを、地震動ありと判断する条件として、地震動検知処理を行うものとする。
また、図11のフローチャートでは省略しているが、当該図11のフローチャートの動作の開始前に、管理者等は、入力装置106から、画像補正処理の実行を指示し、当該指示を受け付け、補正処理制御部161は、画像補正処理部142に、画像補正処理を実施させるように制御している状態とする。
ステップST1101〜ステップST1104の動作は、実施の形態1で説明した図10のステップST1001〜ステップST1004の動作と同様であるため、詳細な説明は省略する。
ステップST1102では、データ蓄積制御部162は、記録部12から、撮像装置(1)が撮像した映像の第1映像ストリーム301のうち、最新の映像ストリームの取得日時から1分間遡った、2016/12/01の19:59:00〜20:00:00までの第1映像ストリーム301を抽出し、デコードさせた後、第4映像ストリーム304としてメモリ17に蓄積させる。
ステップST1103において、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上、ではないと判定した場合(ステップST1103の“NO”の場合)、データ蓄積制御部162は、メモリ17に蓄積させた撮像装置(1)の2016/12/01の19:59:00〜20:00:00までの第4映像ストリーム304を消去する(ステップST1104)。
ステップST1103において、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上であると判定した場合(ステップST1103の“YES”の場合)、第1処理部1411は、切替スイッチSWBの端子1と端子2とを接続して、地震動を検知した旨を第2処理部1412に通知する。また、第1処理部1411は、地震動を検知した旨をデータ蓄積制御部162に通知する。
実施の形態1では、第1処理部1411は、地震動ありと判断すると、地震動が検知された旨を補正処理制御部161に通知し、補正処理制御部161は、画像補正処理部142による画像補正処理を強制的に停止させるようにしていたが、この実施の形態2では、第1処理部1411が地震動ありと判断した場合であっても、補正処理制御部161は、画像補正処理の強制停止を行わない。
データ蓄積制御部162は、記録部12に映像ストリームを記録させているn台の撮像装置101のうち、2次判定用撮像装置として指定されている(n−1)台の撮像装置について、m台ごとにグループ分けする(ステップST1105)。ここでは、例えば、m=3とし、データ蓄積制御部162は、3台ごとにグループ分けするものとする。その結果、データ蓄積制御部162は、2次判定用撮像装置である(n−1)台の撮像装置101がx個のグループにグループ分けされたものとする。
データ蓄積制御部162は、グループ数カウンタcをインクリメントする(ステップST1106)。グループ数カウンタcは、例えば、映像記録再生装置102内の、データ蓄積制御部162が参照可能な場所に保有するものとすればよい。また、グループ数カウンタcの初期値は0とする。
データ蓄積制御部162は、記録部12から、c番目のグループにグループ分けされた、m台の2次判定用撮像装置が撮像した映像の第1映像ストリーム301を抽出し、デコード部13にデコード処理させた後、第5映像ストリーム305としてメモリ17に蓄積させる(ステップST1107)。例えば、ここでは、グループ数カウンタc=1であったとすると、データ蓄積制御部162は、記録部12から、撮像装置(2)〜(4)が撮像し、記録されている映像ストリームのうち、それぞれ、2016/12/01の19:59:00〜20:00:00までの第1映像ストリーム301を抽出し、デコードさせた後、第5映像ストリーム305としてメモリ17に蓄積させる。このステップST1107でデータ蓄積制御部162が記録部12から撮像装置(2)〜(4)の第1映像ストリーム301を抽出する対象とする期間は、ステップST1102においてデータ蓄積制御部162が記録部12から撮像装置(1)の第1映像ストリーム301を抽出する対象とした期間と、同じ期間とする。
第2処理部1412は、メモリ17から、ステップST1107においてデータ蓄積制御部162が蓄積させた、c番目のグループに含まれるm台の2次判定用撮像装置の、2016/12/01の19:59:00〜20:00:00までの第5映像ストリーム305を取得し、当該取得した第5映像ストリーム305について、撮像した撮像装置(2)〜(4)ごとにまとめて映像ストリーム群とする。そして、第2処理部1412は、映像ストリーム群ごとに、当該映像ストリーム群に含まれる映像ストリーム305を画像解析し、特定のオブジェクトを検出し、当該特定のオブジェクトの動きの加速度および振動継続時間を算出する。
第2処理部1412は、全ての映像ストリーム群において、検出したオブジェクトの、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上であるかどうかを判定する(ステップST1108)。
ステップST1108で、c番目のグループに含まれるm台の2次判定用撮像装置のいずれかの映像ストリーム群において、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上、ではないものがあると判定した場合(ステップST1108の“NO”の場合)、第2処理部1412は、データ蓄積制御部162に地震動が検知されなかった旨を通知し、データ蓄積制御部162は、メモリ17を開放する(ステップST1104)。具体的には、データ蓄積制御部162は、ステップST1102,1107においてメモリ17に蓄積させた撮像装置(1)の第4映像ストリーム304、および、c番目のグループに含まれるm台の2次判定用撮像装置の第5映像ストリーム305を消去する。ここでは、データ蓄積制御部162は、撮像装置(1)の2016/12/01の19:59:00〜20:00:00までの第4映像ストリーム304、および撮像装置(2)〜(4)の同期間の第5映像ストリーム305を消去する。そして、再び、ステップST1102に戻る。
実施の形態1では、第2処理部1412が、地震動は検知されなかったと判断した場合、補正処理制御部161は、画像補正処理部142による画像補正処理の強制停止状態を解除し、画像補正処理が行われるようにしていた(図10のステップST1008参照)。しかし、この実施の形態2では、第1処理部1411が地震動を検知した場合に、補正処理制御部161は画像補正処理部142による画像補正処理を強制的に停止させる制御を行っていないため、画像補正処理の強制停止状態を解除する処理は不要となる。
ステップST1108で、c番目のグループに含まれるm台の2次判定用撮像装置の全ての映像ストリーム群において、動きの加速度が予め設定された閾値以上、かつ、振動継続時間が予め設定された閾値以上であると判定した場合(ステップST1108の“YES”の場合)、第2処理部1412は、地震動を検知した旨をデータ蓄積制御部162に通知する。データ蓄積制御部162は、2次判定用撮像装置の第1映像ストリーム301全てについてステップST1108の判定を行ったかどうかを判定する(ステップST1109)。例えば、データ蓄積制御部162は、グループ数カウンタcが、ステップST1105においてグループ分けしたグループ数xとなったかどうかを判定することで、2次判定用撮像装置の第1映像ストリーム301全てについてステップST1108の判定を行ったかどうかを判断すればよい。
ステップST1109において、2次判定用撮像装置の第1映像ストリーム301全てについてステップST1108の判定を行っていないと判定した場合(ステップST1109の”NO”の場合)、ステップST1106に戻り、データ蓄積制御部162は、グループ数カウンタcをインクリメントし、以降の処理を行う。ここでは、ステップST1106において、c=2となり、ステップST1107では、データ蓄積制御部162は、2番目のグループに含まれる撮像装置(5)〜(7)の2016/12/01の19:59:00〜20:00:00までの第1映像ストリーム301を記録部12から抽出し、デコードさせた後、第5映像ストリーム305としてメモリ17に蓄積させる。
ステップST1109において、2次判定用撮像装置の第1映像ストリーム301全てについてステップST1108の判定を行ったと判定した場合(ステップST1109の”YES”の場合)、データ蓄積制御部162は、地震動を検知したと判断し、地震動を検知した旨を通知処理部1413に通知する。
また、データ蓄積制御部162は、地震動を検知した旨を検知処理制御部163に通知し、検知処理制御部163が、切替スイッチSWBの端子1と端子2との接続を解除する。検知処理制御部163は、加えて、第1処理部1411による地震動検知処理も停止させる。
通知処理部1413は、地震動を検知した旨の通知を出力処理部18に出力する(ステップST1110)。具体的な動作は、図10のステップST1009と同様であるため詳細な説明は省略する。
なお、実施の形態1では、第2処理部1412が地震動を検知したと判断すると、補正処理制御部161に地震動を検知した旨を通知し、補正処理制御部161は、画像補正処理部142による画像補正処理の強制停止状態を解除し、画像補正処理が行われるようにしていた(図10のステップST1010参照)。
しかし、この実施の形態2では、第1処理部1411が地震動を検知した場合に、補正処理制御部161は画像補正処理部142による画像補正処理を強制的に停止させる制御を行っていないため、画像補正処理の強制停止状態を解除する処理は不要となる。
出力処理部18は、映像処理部14から出力される第6映像ストリーム306、および第7映像ストリーム307等を、モニタ105、入退室管理装置107、放送装置110、または、携帯端末104に出力する(ステップST1111)。具体的な動作は、図10のステップST1011と同様である。
データ蓄積制御部162は、メモリ17を開放する(ステップST1112)。具体的な動作は、図10のステップST1012と同様である。
このように、この実施の形態2では、第1処理部1411が地震動を検知し、第2処理部1412で地震動検知処理が行われる場合に、補正処理制御部161は、第2処理部1412によって地震動検知処理が行われる間も、画像補正処理部142による画像補正処理を強制停止させる制御を行わない。
これにより、管理者等は、地震動検知処理を実行させているか否かにかかわらず、画像補正処理を常に実行させることができる。
実施の形態2において、画像補正処理を強制停止させることなく、地震動検知処理を行う場合、第2処理部1412には、第1処理部1411が地震動検知処理で使用していたリソースが配分され、当該リソースも使用しつつ、地震動検知処理を実行することとなる。すなわち、映像処理部14のリソース使用割合は、第1処理部1411が地震動検知処理を実行している間も、第2処理部1412が地震動検知処理を実行している間も、図7Aで示したイメージのようになる。この場合、第2処理部1412による地震動検知処理の処理速度は落ちる可能性があるが、画像補正処理機能を維持したまま、第2処理部1412による地震動検知処理を実行することができる。
また、この実施の形態2では、第2処理部1412は、1次判定用撮像装置以外の撮像装置101について、全ての撮像装置101が撮像した映像ストリームに対して一度に地震動検知処理を行うのではなく、撮像装置101をグループ分けし、複数回に分けて、地震動検知処理を行うようにした。これによって、第2処理部1412が行う地震動検知処理の処理負荷を軽減させ、限られたリソースで、極力処理速度を落とさないよう、地震動検知処理を行うようにしている。
以上のように、この実施の形態2によれば、映像取得部11は、複数の撮像装置101から映像を取得し、地震動検知処理部141は、複数の撮像装置101のうちの1次判定用撮像装置から取得した映像について、地震動検知処理を行う第1処理部1411と、第1処理部1411が地震動を検知した場合に、グループ分けされた、複数の撮像装置101のうちの2次判定用撮像装置から取得した映像について、グループごとに、地震動検知処理を行う第2処理部1412とを備えるように構成したので、通常時に実行される画像処理機能を停止させることなく、当該画像処理機能と並行して地震動検知機能を実行することが可能となる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
11 映像取得部、12 記録部、13 デコード部、14 映像処理部、15 入力受付部、16 制御部、17 メモリ、18 出力処理部、51 PC、52 電球、53,61 花瓶、54 人物、101 撮像装置、102 映像記録再生装置、103 ネットワーク、104 携帯端末、105 モニタ、106 入力装置、107 入退室管理装置、108 電気錠、109 入退室操作端末、110 放送装置、141 地震動検知処理部、142 画像補正処理部、161 補正処理制御部、162 データ蓄積制御部、163 検知処理制御部、901 処理回路、902 HDD、903 入力インタフェース装置、904 出力インタフェース装置、905 メモリ、906 CPU、1411 第1処理部、1412 第2処理部、1413 通知処理部。

Claims (9)

  1. 撮像装置が撮像した映像を取得する映像取得部と、
    前記映像取得部が取得した映像に画像変化があったかどうかに基づき地震動の有無を判断する地震動検知処理を行う地震動検知処理部と、
    前記映像取得部が取得した映像の画像補正処理を行う画像補正処理部と、
    前記画像補正処理部による前記画像補正処理の実行を制御する補正処理制御部と、を備え、
    前記映像取得部は、
    複数の撮像装置から映像を取得し、
    前記地震動検知処理部は、
    前記複数の撮像装置のうちの1次判定用撮像装置から取得した映像について、前記地震動検知処理を行う第1処理部と、
    前記第1処理部が地震動を検知した場合に、前記複数の撮像装置のうちの2次判定用撮像装置から取得した映像について、前記地震動検知処理を行う第2処理部とを備え、
    前記補正処理制御部は、
    前記第1処理部が地震動を検知した場合に、前記第2処理部が前記地震動検知処理を行っている間、前記画像補正処理部による前記画像補正処理を停止させ
    視制御装置。
  2. 撮像装置が撮像した映像を取得する映像取得部と、
    前記映像取得部が取得した映像に画像変化があったかどうかに基づき地震動の有無を判断する地震動検知処理を行う地震動検知処理部と、を備え、
    前記映像取得部は、複数の撮像装置から映像を取得し、
    前記地震動検知処理部は、
    前記複数の撮像装置のうちの1次判定用撮像装置から取得した映像について、前記地震動検知処理を行う第1処理部と、
    前記第1処理部が地震動を検知した場合に、グループ分けされた、前記複数の撮像装置のうちの2次判定用撮像装置から取得した映像について、前記グループごとに、前記地震動検知処理を行う第2処理部とを備え
    視制御装置。
  3. 前記地震動検知処理部は、
    前記映像取得部が取得した映像をフレームごとに複数のブロックに分割し、当該分割したブロックのうち、画像変化が検出されないはずのブロックにおいて画像変化を検出した場合に、地震動ありと判断する
    ことを特徴とする請求項1又は請求項2のいずれか1項記載の監視制御装置。
  4. 前記地震動検知処理部は、
    前記映像取得部が取得した映像をフレームごとに複数のブロックに分割し、当該分割した全てのブロックにおいて画像変化を検出した場合に、地震動ありと判断する
    ことを特徴とする請求項1又は請求項2のいずれか1項記載の監視制御装置。
  5. 前記地震動検知処理部は、
    前記映像取得部が取得した映像をフレームごとに複数のブロックに分割し、当該分割したブロックのうち、画像変化が検出されたブロックの数が閾値以上であった場合に地震動ありと判断する
    ことを特徴とする請求項1又は請求項2のいずれか1項記載の監視制御装置。
  6. 前記地震動検知処理部は、
    前記映像取得部が取得した映像をフレームごとに複数のブロックに分割し、当該分割したブロックのうち、画像変化が検出されないはずのブロックにおいて画像変化を検出し、かつ、当該画像変化が検出されたブロックの数が閾値以上であった場合に、地震動ありと判断する前記地震動検知処理を行う
    ことを特徴とする請求項1又は請求項2のいずれか1項記載の監視制御装置。
  7. 前記地震動検知処理部は、
    前記映像取得部が取得した映像において、検出されたオブジェクトの動きの加速度が閾値以上であった場合に、地震動ありと判断する前記地震動検知処理を行う
    ことを特徴とする請求項1又は請求項2のいずれか1項記載の監視制御装置。
  8. 前記地震動検知処理部は、
    前記映像取得部が取得した映像において、検出されたオブジェクトの動きの継続時間が閾値以上であった場合に、地震動ありと判断する前記地震動検知処理を行う
    ことを特徴とする請求項1又は請求項2のいずれか1項記載の監視制御装置。
  9. 前記地震動検知処理部は、
    前記映像取得部が取得した映像において、検出されたオブジェクトの動きの加速度が閾値以上であり、かつ、当該検出されたオブジェクトの動きの継続時間が閾値以上であった場合に、地震動ありと判断する前記地震動検知処理を行う
    ことを特徴とする請求項1又は請求項2のいずれか1項記載の監視制御装置。
JP2016240310A 2016-12-12 2016-12-12 監視制御装置 Active JP6789090B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016240310A JP6789090B2 (ja) 2016-12-12 2016-12-12 監視制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016240310A JP6789090B2 (ja) 2016-12-12 2016-12-12 監視制御装置

Publications (2)

Publication Number Publication Date
JP2018096775A JP2018096775A (ja) 2018-06-21
JP6789090B2 true JP6789090B2 (ja) 2020-11-25

Family

ID=62631342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016240310A Active JP6789090B2 (ja) 2016-12-12 2016-12-12 監視制御装置

Country Status (1)

Country Link
JP (1) JP6789090B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030769B1 (ko) * 2019-05-27 2019-10-10 한방유비스 주식회사 전기 설비 재난 대응 시스템 및 그를 위한 장치
KR102528547B1 (ko) * 2020-02-07 2023-05-04 포항공과대학교 산학협력단 조기 지진 감지 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4262023B2 (ja) * 2003-07-16 2009-05-13 日本放送協会 映像揺れ検出装置、その方法及びそのプログラム、並びに、カメラ映像選択装置
JP4716744B2 (ja) * 2005-02-01 2011-07-06 株式会社日立製作所 映像監視配信装置
JP2007179096A (ja) * 2005-12-26 2007-07-12 Toyota Motor Corp 車両制御装置
JP2007232377A (ja) * 2006-02-27 2007-09-13 Toshiba Corp 情報処理装置および地震監視方法
JP4388044B2 (ja) * 2006-08-28 2009-12-24 株式会社東芝 管路被害予測システム及び管路被害予測方法
US8391563B2 (en) * 2010-05-25 2013-03-05 Sony Corporation Using computer video camera to detect earthquake
JP5966456B2 (ja) * 2012-03-08 2016-08-10 オムロン株式会社 アダプタ
JP6107965B2 (ja) * 2013-10-28 2017-04-05 富士通株式会社 データ格納装置、データ格納方法およびデータ格納プログラム

Also Published As

Publication number Publication date
JP2018096775A (ja) 2018-06-21

Similar Documents

Publication Publication Date Title
KR20120002801A (ko) 감시용 카메라와 그에 따른 음원 추적 방법
KR20120140518A (ko) 스마트폰 기반의 원격 감시 시스템 및 제어방법
JP4912184B2 (ja) 映像監視システムおよび映像監視方法
US20170347068A1 (en) Image outputting apparatus, image outputting method and storage medium
JP2005045550A (ja) 撮像装置、その撮像システムおよび方法
WO2022119598A1 (en) Audio privacy protection for surveillance systems
JP6789090B2 (ja) 監視制御装置
KR20190016900A (ko) 정보 처리장치, 정보 처리방법 및 기억매체
KR101321447B1 (ko) 네트워크를 통한 현장 모니터링 방법, 및 이에 사용되는 관리 서버
KR101020670B1 (ko) 원격테스트 기능을 구비한 방범 시스템
JP2008035096A (ja) 監視装置、監視方法及びプログラム
JP2007031017A (ja) エレベータの制御装置
JP2010171632A (ja) 監視カメラ装置
KR100750827B1 (ko) 사용자별 권한 설정이 가능한 디지털 비디오 레코더
JP2009239707A (ja) インターホン装置
WO2018105059A1 (ja) エレベータ用監視装置
JP4434720B2 (ja) インターホン装置
JP2006339982A (ja) 監視映像記録装置及び監視映像記録システム
KR20070031079A (ko) 디지털 비디오 레코더에서의 카메라 충격 판별장치 및 방법
KR20140131694A (ko) 방범용 버티컬 프로젝션 시스템
KR101393303B1 (ko) 영상화면비교부를 갖는 cctv 시스템 관리방법
JP2007128145A (ja) 監視システム
JP2005004518A (ja) 監視装置
KR101198159B1 (ko) 모션 검출 영역별 녹화 제어방법
KR20070038656A (ko) 디지털 비디오 레코더에서의 협동 감시 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200416

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201102

R150 Certificate of patent or registration of utility model

Ref document number: 6789090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250