JP7074164B2 - 監視システム、監視方法および監視プログラム - Google Patents

Description

本発明は、監視システム、監視方法および監視プログラムに関する。

上記技術分野において、特許文献１には、追跡物体が遮蔽物に隠れて、再度出現した場合に、同じ識別番号を付与する技術が開示されている。また、特許文献２には、追跡車両が遮蔽物に隠れた場合に、追跡車両の予測位置をモニタ上に表示する技術が開示されている。さらに、特許文献３には、ドライバーの死角にある物体が飛び出してくる危険を予測してアラームする技術が開示されている。

特開２００７－３３４６３１号公報 特開２００９－１９３１３５号公報 特開２０１３－９７４８０号公報

しかしながら、上記特許文献に記載の技術では、遮蔽物の裏での異常事態を発見することができなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明にかかるシステムは、
映像を取得する映像取得手段と、
前記映像中において遮蔽物によって生じた死角への対象物の侵入を検知する検知手段と、
前記対象物の前記死角への侵入方向を検出する方向検出手段と、
前記侵入方向に基づいて前記死角における前記対象物の位置及び軌跡の少なくとも一方と、前記対象物の前記死角からの出現位置とを予測する予測手段と、
前記遮蔽物の上に前記対象物の位置及び軌跡の少なくとも一方を表示する表示手段と、
予測した前記出現位置に前記対象物が出現しなかった場合に報知する報知手段と、
を備える監視システムである。

上記目的を達成するため、本発明にかかる方法は、
映像取得手段が映像を取得する映像取得ステップと、
検知手段が前記映像中において遮蔽物によって生じた死角への対象物の侵入を検知する検知ステップと、
方向検出手段が、前記対象物の前記死角への侵入方向を検出する方向検出ステップと、
予測手段が前記侵入方向に基づいて前記死角における前記対象物の位置及び軌跡の少なくとも一方と、前記対象物の前記死角からの出現位置とを予測する予測ステップと、
表示手段が、前記遮蔽物の上に前記対象物の位置及び軌跡の少なくとも一方を表示する表示ステップと、
予測した前記出現位置に前記対象物が出現しなかった場合に報知する報知ステップと、
を含む監視方法である。

上記目的を達成するため、本発明にかかるプログラムは、
映像を取得する映像取得ステップと、
前記映像中において遮蔽物によって生じた死角への対象物の侵入を検知する検知ステップと、
前記対象物の前記死角への侵入方向を検出する方向検出ステップと、
前記侵入方向に基づいて前記死角における前記対象物の位置及び軌跡の少なくとも一方と、前記対象物の前記死角からの出現位置とを予測する予測ステップと、
前記遮蔽物の上に前記対象物の位置及び軌跡の少なくとも一方を表示する表示ステップと、
予測した前記出現位置に前記対象物が出現しなかった場合に報知する報知ステップと、
をコンピュータに実行させる監視プログラムである。

本発明によれば、遮蔽物の裏での異常事態を発見することができる。

本発明の第１実施形態に係る監視システムの構成を示すブロック図である。 本発明の第２実施形態に係る監視システムの動作の概略を説明する図である 本発明の第２実施形態に係る監視システムの構成を示すブロック図である。 本発明の第２実施形態に係る監視システムの備える予測テーブルの構成を示す図である。 本発明の第２実施形態に係る監視システムの備える遮蔽物テーブルの構成を示す図である。 本発明の第２実施形態に係る監視システムの備える報知テーブルの構成を示す図である。 本発明の第２実施形態に係る監視システムのハードウェア構成を示す図である。 本発明の第２実施形態に係る監視システムの処理手順を示すフローチャートである。 本発明の第３実施形態に係る監視システムの動作の概略を説明する図である。 本発明の第３実施形態に係る監視システムの構成を示すブロック図である。 本発明の第３実施形態に係る監視システムの処理手順を示すフローチャートである。 本発明の第４実施形態に係る監視システムの動作の概略を説明する図である。 本発明の第４実施形態に係る監視システムの構成を示すブロック図である。 本発明の第４実施形態に係る監視システムの処理手順を示すフローチャートである。 本発明の第５実施形態に係る監視システムの動作の概略を説明する図である。 本発明の第５実施形態に係る監視システムの構成を示すブロック図である。 本発明の第５実施形態に係る監視システムの処理手順を示すフローチャートである。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての監視システム１００について、図１を用いて説明する。監視システム１００は、死角へ侵入した対象物が所定時間経過しても死角から出現しないことを契機として、遮蔽物の裏での異常事態を発見するシステムである。

図１に示すように、監視システム１００は、映像取得部１０１と、検知部１０３と、報知部１０４とを含む。報知部１０４は、さらに第１時間１４１を有する。映像取得部１０１は、映像を取得する。

検知部１０３は、映像中において遮蔽物によって生じた死角への対象物の侵入と、死角からの対象物の出現を検知する。報知部１０４は、対象物の死角への侵入から第１時間１４１が経過しても対象物が死角から出現しなかった場合に監視者１３０などに報知する。

本実施形態によれば、遮蔽物の裏での異常事態を発見することができる。

［第２実施形態］
次に本発明の第２実施形態に係る監視システムについて、図２～図６を用いて説明する。図２は、本実施形態に係る監視システムの動作の概略を説明するための図である。図２に示したように、対象物２１０が、図上左側から右側に向かって速度Ｖで移動している。対象物２１０の移動先には遮蔽物２２０が存在しており、遮蔽物２２０の存在により、遮蔽物２２０の裏側に死角が生じている。その後、遮蔽物２２０によって生じた死角に、対象物２１０が侵入して対象物２１０が見えなくなると、対象物２１０を追跡することができなくなる。

監視システム２００は、対象物２１０が死角に侵入した時の速度（Ｖ）に基づいて、対象物２１０が再び出現するタイミングを予測する。そして、予測したタイミングまたは予測したタイミングから所定時間経過しても対象物２１０が出現しなければ、監視システム２００は、例えば、監視者などにアラートを報知する。

例えば、予測した出現タイミングが３秒後であるとして、[３秒＋α秒]経過しても対象物２１０が再び出現しなければ、遮蔽物２２０の裏側の死角で異常事態が発生したと判断し、監視者などにアラートを報知する。これとは反対に、[３秒＋α秒]以内に対象物２１０が出現すれば、監視システム２００は、遮蔽物２２０の裏側で異常事態は発生していないと判断し、アラートなどは報知しない。これにより、遮蔽物２２０の裏での人物の転倒や事故などの事態や、麻薬取引を含む犯罪行為などの異常事態を容易に発見することができる。

図３は、本実施形態に係る監視システム２００の構成を示すブロック図である。監視システム２００は、映像取得部３０１と、判定部３０２と、速度検出部３０３と、予測部３０４と、検知部３０５と、報知部３０６とを備える。

映像取得部３０１は、カメラ３２０から映像を取得する。なお、カメラ３２０の台数は、１台には限定されず、複数台であってもよい。判定部３０２は、映像取得部３０１で取得した映像中に、遮蔽物によって生じた死角が存在することを判定する。判定部３０２は、死角の存在の判定を、１台のカメラの映像で２次元的に解析して行ってもよいし、複数台のカメラの映像で３次元的に解析して行ってもよい。判定部３０２は、２次元的に解析する場合は、画像中で占める遮蔽物の領域に、そのまま死角が存在すると判定してもよい。

速度検出部３０３は、対象物が、遮蔽物によって生じた死角に侵入した場合の侵入速度を検出する。そして、予測部３０４は、速度検出部３０３で検出した対象物の侵入速度に基づいて、対象物が死角から出現する出現タイミングを予測する。検知部３０５は、対象物の死角からの出現を検知する。報知部３０６は、予測部３０４で予測した出現タイミングから所定の時間経過しても対象物が死角から出現しなかった場合に、監視者３３０などに報知する。

図４Ａは、本実施形態に係る監視システム２００が備える予測テーブル４０１の構成の一例を示す図である。予測テーブル４０１は、対象物速度および死角サイズの組み合わせに関連付けて、出現予測時間および出現予測時間からの経過時間である所定時間とを記憶する。予測部３０４は、対象物の出現タイミングについて、遮蔽物の大きさを検出して、対象物の侵入速度と検出した遮蔽物の大きさとから出現タイミングを導出しても良い。また、予測部３０４は、図４Ａに示した予測テーブル４０１を用いて出現タイミングを特定しても良い。

図４Ｂは、本実施形態に係る監視システム２００が備える遮蔽物テーブル４０２の構成の一例を示す図である。遮蔽物テーブル４０２は、遮蔽物の位置と大きさとに関連付けて、遮蔽物によって生じた死角の位置を記憶する。監視システム２００は、遮蔽物によって生じた死角について、遮蔽物の大きさを検出して、検出した大きさに基づいて死角の位置を導出してもよい。また、監視システム２００は、図４Ｂに示した遮蔽物テーブル４０２を用いて死角の位置を特定してもよい。

図４Ｃは、本実施形態に係る監視システム２００が備える報知テーブル４０３の構成の一例を示す図である。報知テーブル４０３は、出現遅延時間に関連付けてアラートレベルと報知先とを記憶する。例えば、遅延時間が「Ｔ４」の場合には、アラートレベルが「１」で報知先は「監視者」となる。アラートとしては、例えば、予測した出現タイミングからの経過時間（出現遅延時間）に応じて、アラートのレベルが変化するようにしてもよい。例えば、警報音の音量を徐々に大きくしたり、監視者の見ている画面上の表示を点滅させたり、徐々に大きくしたりしてアラートレベルを変えてもよい。

図５は、監視システム２００のハードウェア構成を示す図である。監視システム２００は、ＣＰＵ(Central Processing Unit)５０１と、ＲＯＭ(Read Only Memory)５０２と、ＲＡＭ(Random Access Memory)５０３と、ストレージ５０４と、通信制御部５０５とを備える。

ＣＰＵ５０１は、演算処理用のプロセッサであり、プログラムを実行することにより監視システム２００の各機能構成部を実現する。なお、ＣＰＵ５０１は１個に限定されず、複数個あってもよく、また、画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。ＲＯＭ５０２は、リードオンリメモリであり、ファームウェアなどのプログラムを記憶する。

通信制御部５０５は、ネットワークを介して他の機器などと通信する。また、通信制御部５０５は、ＣＰＵ５０１とは独立したＣＰＵを備えて、ＲＡＭ５０３に送受信データを書き込みまたは読み出ししてもよい。

ＲＡＭ５０３は、ＣＰＵ５０１が一時記憶用のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５０３には、本実施形態の実現に必要なデータを記憶する領域がある。このようなデータとして、監視システム２００は、出現予測時間５３１と、遅延時間５３２と、報知内容５３３と、遮蔽物情報５３４とを一時的に保存する。また、ＲＡＭ５０３は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５３５を有する。

ストレージ５０４は、本実施形態の実現に必要なプログラムやデータベースなどを記憶する記憶デバイスである。ストレージ５０４は、予測テーブル４０１と、遮蔽物テーブル４０２と、報知テーブル４０３と、監視プログラム５４１と、制御プログラム５４５とを格納する。

監視プログラム５４１は、判定モジュール５４２と、速度検出モジュール５４３と、予測モジュール５４４とを格納している。これらのモジュール５４２～５４４は、ＣＰＵ５０１によりアプリケーション実行領域５３５に読み出され、実行される。制御プログラム５４５は、監視システム２００の全体を制御するためのプログラムである。また、ＲＡＭ５０３とストレージ５０４との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。

なお、図５に示したＲＡＭ５０３やストレージ５０４には、監視システム２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。また、ここで説明した監視システム２００のハードウェア構成は一例に過ぎず、このハードウェア構成には限定されず、様々なハードウェア構成とすることができる。

図６は、監視システム２００の処理手順を説明するためのフローチャートである。ステップＳ６０１において、監視システム２００は、カメラから映像を取得する。ステップＳ６０３において、監視システム２００は、取得した映像中の遮蔽物の存在を認識し、遮蔽物によって生じた死角の存在を判定する。ステップＳ６０５において、監視システム２００は、遮蔽物の裏側の死角に侵入した対象物の侵入速度を検出し、死角からの対象物の出現タイミングを予測する。ステップＳ６０７において、監視システム２００は、対象物が予測した出現タイミング（出現予測時間）またはこの出現タイミングから所定時間内に死角から出現したか否かを判定する。対象物が、予測した出現タイミングまたはこの出現タイミングから所定時間内に死角から出現しなければ、ステップＳ６０９において、監視システム２００は、アラートを報知する。

本実施形態によれば、対象物の出現タイミングを予測するので、遮蔽物の裏での人物の転倒や事故、麻薬取引を含む犯罪行為などの異常事態を発見することができる。

［第３実施形態］
次に本発明の第３実施形態に係る監視システム７００について、図７～図９を用いて説明する。図７は、本実施形態に係る監視システム７００の動作の概略を説明するための図である。本実施形態に係る監視システム７００は、上記第２実施形態と比べると、方向検出部を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

監視システム７００は、遮蔽物２２０で生じた死角への対象物２１０の侵入方向を検知する。検知した侵入方向と速度とに基づいて、対象物２１０の出現タイミングと出現位置とを予測する。

図８は、監視システム７００の構成を示すブロック図である。監視システム７００は、さらに、方向検出部８０１を備える。方向検出部８０１は、遮蔽物によって生じた死角への対象物の侵入方向を検出する。監視システム７００は、この侵入方向と侵入速度とに基づいて、対象物の出現タイミングと共に、出現位置も予測する。

図９は、監視システム７００の処理手順を説明するフローチャートである。なお、図６と同様のステップには同じステップ番号を付けて説明を省略する。ステップＳ９０１において、監視システム７００は、対象物の死角への侵入方向をさらに検出し、検出した侵入方向に基づいて対象物の死角からの出現位置を予測する。ステップＳ９０３において、監視システム７００は、対象物が予測した出現タイミングに、予測した出現位置に出現したか否かを判定する。

本実施形態によれば、遮蔽物によって生じた死角への対象物の侵入方向も加味して出現位置を予測するので、遮蔽物の裏での人物の転倒や事故、麻薬取引を含む犯罪行為などの異常事態を発見することができる。

［第４実施形態］
次に本発明の第４実施形態に係る監視システム１０００について、図１０～図１２を用いて説明する。図１０は、本実施形態に係る監視システム１０００の動作の概略を説明するための図である。本実施形態に係る監視システム１０００は、上記第３実施形態と比べると、映像生成部を有する点で異なる。その他の構成および動作は、第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

監視システム１０００は、対象物１０１０が遮蔽物１０２０によって生じた死角に侵入すると、死角に侵入した侵入速度に基づいて、対象物１０１０が遮蔽物１０２０によって生じた死角のどの位置にいるかの予測位置を示す予測位置マーク１０１１を表示する。さらに、監視システム１０００は、予測位置マーク１０１１と共に、予測移動軌跡１０３０を表示する。また、監視システム１０００は、対象物１０１０の死角への侵入速度の他に侵入方向も考慮して予測位置マーク１０１１および予測移動軌跡１０３０を表示してもよい。さらに、監視システム１０００は、死角へ侵入した対象物１０１０の当該死角からの出現位置を予測し、予測した出現位置を表示してもよい。例えば、監視システム１０００は、図２において点線で示される対象物２１０、図７において点線で示される対象物２１０、（また、後述する図１３において点線で示される対象物１３１０）のように出現位置を表示してもよいし、領域として出現位置を表示してもよい。

図１１は、監視システム１０００の構成を示すブロック図である。監視システム１０００は、さらに、映像生成部１１０１を備える。映像生成部１１０１は、映像取得部３０１で取得した映像に対して、予測部３０４による予測に基づいて生成した対象物の軌跡を重畳した映像を生成する。そして、映像生成部１１０１は、生成した映像を監視者１１３０などに見せる。

図１２は、監視システム１０００の処理手順を説明するフローチャートである。なお、図６と同様のステップには同じステップ番号を付けて説明を省略する。ステップＳ１２０１において、監視システム１０００は、取得した映像に対して、予測に基づいて生成した対象物の移動の軌跡を重畳した映像を生成する。そして、監視システム１０００は、生成した重畳映像を監視者１１３０などに見せる。

本実施形態によれば、予測位置マークと予測移動軌跡とを表示するので、遮蔽物の裏での人物の転倒や事故、麻薬取引を含む犯罪行為などの異常事態を発見することができ、さらに、監視者は、視覚的に対象物の出現タイミングを認識することができる。

［第５実施形態］
次に本発明の第５実施形態に係る監視システム１３００について、図１３～図１５を用いて説明する。図１３は、本実施形態に係る監視システム１３００の動作の概略を説明するための図である。本実施形態に係る監視システム１３００は、上記第３実施形態と比べると、予測部が相対速度を考慮する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図１３は、対象物１３１０と遮蔽物１３２０とが移動している場合の監視システム１３００の動作の概略を説明する図である。対象物１３１０が、図面上左側から右側に向かって速度Ｖ１で移動している。遮蔽物１３２０であるバスなどの車両が、図面上右側から左側に向かって速度Ｖ２で移動している。この場合、監視システム１３００は、対象物１３１０と遮蔽物１３２０との相対的な速度から対象物１３１０の出現タイミングを予測する。

図１４は、監視システム１３００の構成を示すブロック図である。監視システム１３００は、相対速度算出部１４０１と予測部１４０２とを備える。相対速度算出部１４０１は、移動する対象物１３１０と移動する遮蔽物１３２０との相対速度を算出する。そして、予測部１４０２は、相対速度算出部１４０１で算出した相対速度に基づいて、対象物１３１０の出現タイミングを予測する。

図１５は、監視システム１３００の処理手順を説明するフローチャートである。なお、図６と同様のステップには同じステップ番号を付けて説明を省略する。ステップＳ１５０１において、監視システム１３００は、移動する対象物１３１０と移動する遮蔽物１３２０との相対速度を算出する。ステップＳ１５０３において、監視システム１３００は、算出した相対速度に基づいて、対象物１３１０の死角からの出現タイミングを予測する。

本実施形態によれば、相対速度を考慮して予測するので、遮蔽物の裏での人物の転倒や事故、麻薬取引を含む犯罪行為などの異常事態を発見することができる。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

この出願は、２０１５年３月２０日に出願された日本出願特願２０１５－０５８２７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (9)

1. 映像を取得する映像取得手段と、
   前記映像中において遮蔽物によって生じた死角への対象物の侵入を検知する検知手段と、
   前記対象物の前記死角への侵入方向を検出する方向検出手段と、
   前記侵入方向に基づいて前記死角における前記対象物の位置及び軌跡の少なくとも一方と、前記対象物の前記死角からの出現位置とを予測する予測手段と、
   取得した前記映像中の遮蔽物に対して、前記対象物の位置及び軌跡の少なくとも一方を重畳した映像を表示する表示手段と、
   予測した前記出現位置に前記対象物が出現しなかった場合に報知する報知手段と、
   を備える監視システム。
2. 前記予測手段は、更に、前記死角からの前記対象物の出現タイミングを予測し、
   前記報知手段は、予測された前記出現タイミングからの経過時間に応じて報知の態様および報知先の少なくともいずれかを変更する請求項１に記載の監視システム。
3. 前記報知は、音によって行われ、前記報知手段は、予測された前記出現タイミングからの経過時間に応じて音量を大きくするか、又は、
   前記報知は、画面への表示によって行われ、前記報知手段は、予測された前記出現タイミングからの経過時間に応じて前記画面への表示を大きくする、請求項２に記載の監視システム。
4. 映像取得手段が映像を取得する映像取得ステップと、
   検知手段が前記映像中において遮蔽物によって生じた死角への対象物の侵入を検知する検知ステップと、
   方向検出手段が、前記対象物の前記死角への侵入方向を検出する方向検出ステップと、
   予測手段が前記侵入方向に基づいて前記死角における前記対象物の位置及び軌跡の少なくとも一方と、前記対象物の前記死角からの出現位置とを予測する予測ステップと、
   表示手段が、取得した前記映像中の遮蔽物に対して、前記対象物の位置及び軌跡の少なくとも一方を重畳した映像を表示する表示ステップと、
   予測した前記出現位置に前記対象物が出現しなかった場合に報知する報知ステップと、
   を含む監視方法。
5. 前記予測ステップでは、更に、前記死角からの前記対象物の出現タイミングを予測し、
   前記報知ステップでは、予測された前記出現タイミングからの経過時間に応じて報知の態様および報知先の少なくともいずれかを変更する請求項４に記載の監視方法。
6. 前記報知は、音によって行われ、前記報知ステップでは、予測された前記出現タイミングからの経過時間に応じて音量を大きくするか、又は、
   前記報知は、画面への表示によって行われ、前記報知ステップでは、予測された前記出現タイミングからの経過時間に応じて前記画面への表示を大きくする、請求項５に記載の監視方法。
7. 映像を取得する映像取得ステップと、
   前記映像中において遮蔽物によって生じた死角への対象物の侵入を検知する検知ステップと、
   前記対象物の前記死角への侵入方向を検出する方向検出ステップと、
   前記侵入方向に基づいて前記死角における前記対象物の位置及び軌跡の少なくとも一方と、前記対象物の前記死角からの出現位置とを予測する予測ステップと、
   取得した前記映像中の遮蔽物に対して、前記対象物の位置及び軌跡の少なくとも一方を重畳した映像を表示する表示ステップと、
   予測した前記出現位置に前記対象物が出現しなかった場合に報知する報知ステップと、
   をコンピュータに実行させる監視プログラム。
8. 前記予測ステップでは、更に、前記死角からの前記対象物の出現タイミングを予測し、
   前記報知ステップでは、予測された前記出現タイミングからの経過時間に応じて報知の態様および報知先の少なくともいずれかを変更する請求項７に記載の監視プログラム。
9. 前記報知は、音によって行われ、前記報知ステップでは、予測された前記出現タイミングからの経過時間に応じて音量を大きくするか、又は、
   前記報知は、画面への表示によって行われ、前記報知ステップでは、予測された前記出現タイミングからの経過時間に応じて前記画面への表示を大きくする、請求項８に記載の監視プログラム。

Images