JP5222908B2 - 崩落検知システム及び崩落検知方法 - Google Patents

Description

本発明は、崖崩れなどの崩落を映像により検知する崩落検知システム及び崩落検知方法に関し、特に、大規模崩落の前兆となる小石の落下などの微小な崩落現象を検知する崩落検知システム及び崩落検知方法に関する。

一般に、崖崩れなどの監視においては、ワイヤセンサを用いて大きな岩の崩落等を検知している。災害現場における復旧工事など土砂災害危険箇所の作業においては、大規模な崩落の前兆となる小石の落下などの小さな崩落（以下、「小崩落」と記す）を発見することにより、未然に危険を回避することも重要である。通常、監視員を配置し、危険箇所の目視の監視を行うが、人間では広い範囲をカバーするのは困難であり、人間をサポートする手段として、機械による監視が望まれている。

土砂災害に特化した映像監視の先行事例は多くないが、小石の落下を移動物体とみなすと、人物や車両の監視の分野では、様々な移動物体検知技術が検討されている。しかしながら、監視映像において、小崩落が監視対象領域に比して非常に小さいこと、背景となる斜面と同系色であることから、通常の移動物体検知手法では、小崩落をノイズなどと識別することが困難という課題があった。この課題を解決する手法として、監視映像の各フレームを時系列的に並べた時空間上で、ノイズは孤立点になるのに対して、崩落は連続的な軌跡を形成することに着目し、ノイズとの識別性能を向上させることを特徴とした時空間ガボールフィルタを用いる手法がある（非特許文献１）。

時空間ガボールフィルタは、ガウス関数を窓関数として正弦波を局在化した三次元ガボール関数によるたたみ込み演算により、入力画像の局所的な時空間周波数情報を得るものである。通常、複数の種類の時空間ガボールフィルタを用意し、フィルタセットを構成する。用意した全ての時空間ガボールフィルタで動きエネルギーを算出することで、様々な軌跡を生じる動きに対して応答を得ることが可能となる。具体的には、時空間ガボールフィルタには、対応するパラメータが物体の移動方向・速度と一致する場合に強く応答する性質があることを踏まえ、小崩落として想定される速度、移動方向等に対するガボールフィルタの応答（動きエネルギー）が予め定めた閾値を超えたときに小崩落が発生したと判断する。

岡本健 他 "時空間ガボールフィルタによる土砂災害前兆現象検知"電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 Vol. 108, No. 327, pp.139-144, 2008.

ところで、映像監視においては、検知対象と映像に含まれるノイズとの識別に加えて、虫の飛翔などの崩落現象以外の変化（外乱現象）との識別も必要である。小崩落は斜面の上から下に向かって生じる現象であり、その方向は事前に想定できることから、斜面の上下方向の移動に強く応答する時空間ガボールフィルタを用いて、時空間ガボールフィルタの物体の移動方向に対する応答特性を利用すれば、一定レベルの小崩落と外乱現象の識別は可能である。

しかしながら、時空間ガボールフィルタの応答は、検知対象の移動方向（時空間的な特徴）に加えて、検知対象の形状や背景とのコントラスト（輝度差）などの空間的な特徴にも影響を受ける。小崩落は、コントラストが低い順方向運動とみなせるが、例えば、背景とのコントラストの高い鳥が時空間ガボールフィルタの方向に直交運動を行う場合、両者の識別は原理的に困難である。即ち、移動方向・速度の時空間ガボールフィルタの応答特性に基づく手法では、必ずしも外乱現象と小崩落の識別ができなかった。

本発明は、上述した従来の技術に鑑み、検知対象である崩落を外乱現象と識別して正確に検知することのできる崩落検知システム及び崩落検知方法を提供することを目的とする。

上記目的を達成するため、第１の態様に係る発明は、崩落を検知する崩落検知システムであって、検知対象の監視映像を撮影する撮影部と、前記撮影部により撮影された映像に対して時空間ガボールフィルタを施す演算部と、前記撮影部により撮影された映像のうち一定サイズ以上の変化領域を除外領域とするためのマスクを生成するマスク生成部と、前記マスク生成部により生成されたマスクを用いて前記時空間ガボールフィルタの処理結果にマスク処理を施すマスク処理部と、前記マスク処理部の処理結果を用いて崩落の有無を判定する判定部とを備えたことを要旨とする。

第２の態様に係る発明は、第１の態様に係る発明において、前記マスク生成部が、前のフレームとの輝度差が所定の閾値より大きな画素を抽出するフレーム間差分処理と、前記フレーム間差分処理の処理結果に対して一定サイズ以上の変化領域及びその周辺領域を抽出するモルフォロジー処理とを実施して前記マスクを生成することを要旨とする。

また、上記目的を達成するため、第３の態様に係る発明は、崩落を検知する崩落検知方法であって、検知対象の監視映像を撮影する撮影ステップと、前記撮影ステップで撮影された映像に対して時空間ガボールフィルタを施す演算ステップと、前記撮影ステップで撮影された映像のうち一定サイズ以上の変化領域を除外領域とするためのマスクを生成するマスク生成ステップと、前記マスク生成ステップで生成されたマスクを用いて前記時空間ガボールフィルタの処理結果にマスク処理を施すマスクステップと、前記マスクステップの処理結果を用いて崩落の有無を判定する判定ステップとを備えたことを要旨とする。

第４の態様に係る発明は、第３の態様に係る発明において、前記マスク生成ステップで、前のフレームとの輝度差が所定の閾値より大きな画素を抽出するフレーム間差分処理と、前記フレーム間差分処理の処理結果に対して一定サイズ以上の変化領域及びその周辺領域を抽出するモルフォロジー処理とを実施して前記マスクを生成することを要旨とする。

本発明によれば、検知対象である崩落を外乱現象と識別して正確に検知することのできる崩落検知システム及び崩落検知方法を提供することができる。

本発明の実施の形態における崩落検知システムの構成図である。 本発明の実施の形態における崩落検知システムの動作を示すフローチャートである。 本発明の実施の形態における三次元空間の説明図である。 本発明の実施の形態における崩落検知システムの処理の具体例を示す図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

まず、本発明の概要を説明する。すなわち、本発明では、時空間ガボールフィルタ処理と並行してフレーム間差分処理・モルフォロジー処理を行い、一定サイズ以上の画面上の変化領域を捉え、当該変化領域とその周辺領域については、時空間ガボールフィルタの応答（動きエネルギー）を無効とする。もともと、時空間ガボールフィルタ処理は、背景と同系色でノイズと同等程度にサイズが小さい小崩落をノイズ等と識別するために導入するものであり、サイズの大きな変化については、従来の動画認識処理により容易に捕捉・追跡が可能である。そこで、本発明では、従来手法で対応可能な変化を時空間ガボールフィルタによる判定対象から外すことにした。このようにすれば、時空間ガボールフィルタの速度選択性が必ずしも有効に機能しないサイズの大きい鳥の飛翔などの外乱現象と検知対象の小崩落との識別が可能となる。

図１は、本発明の実施の形態における崩落検知システム１０の構成図である。この崩落検知システム１０は、崖崩れなどの崩落を映像により検知するシステムであって、機能的には、撮影部１１と、三次元データ作成部１２と、演算部１３と、マスク処理部１４と、判定部１５と、出力部１６と、マスク生成部１７とを備えている。撮影部１１は、検知対象の監視映像を撮影する。三次元データ作成部１２は、撮影部１１により撮影された映像を用いて三次元データを作成する。演算部１３は、三次元データ作成部１２により作成された三次元データ（撮影部１１により撮影された映像）に対して時空間ガボールフィルタを施す。マスク生成部１７は、撮影部１１により撮影された映像のうち一定サイズ以上の変化領域を除外領域とするためのマスクを生成する。具体的には、前のフレームとの輝度差が所定の閾値より大きな画素を抽出するフレーム間差分処理と、このフレーム間差分処理の処理結果に対して一定サイズ以上の変化領域及びその周辺領域を抽出するモルフォロジー処理とを実施してマスクを生成する。マスク処理部１４は、マスク生成部１７により生成されたマスクを用いて時空間ガボールフィルタの処理結果にマスク処理を施す。判定部１５は、マスク処理部１４の処理結果を用いて崩落の有無を判定する。出力部１６は、判定部１５の判定結果を液晶ディスプレイ等に出力する。

図２は、本発明の実施の形態における崩落検知システム１０の動作を示すフローチャートである。以下、図２を用いて崩落検知システム１０の構成を動作とともに説明する。

まず、監視映像は、二次元の画像×時間の三次元データに変換され、その三次元データの時空間的な特徴抽出処理として時空間ガボールフィルタ処理が施される（ステップＳ１→Ｓ２→Ｓ３）。また、これと並行してマスク生成処理が施される。具体的には、監視映像の連続するフレームに対してフレーム間差分処理と閾値処理を施し、一定以上の変化のある画素を抽出する（ステップＳ７→Ｓ８）。その後、モルフォロジー処理を施し、一定サイズ以上の変化領域及びその周辺領域を抽出する（ステップＳ９）。この処理により抽出された領域を除外領域として時空間ガボールフィルタ処理結果にマスク処理を施した後（ステップＳ４）、小崩落の判定処理を実施する（ステップＳ５）。

時空間ガボールフィルタ処理は、入力画像の動きの特徴を捉える特徴抽出処理であり、具体的には、入力画像（Ｉ）と線形フィルタ（ｇ_φ）で畳み込み演算（＊で表す）を施し、反応強度（ｒ_φ）から動きエネルギー（Ｅ）を得るものである。

なお、線形フィルタ（ｇ_φ）は以下の式で表される。

ここで、γは空間スケールの大きさ、σは空間平面に掛かるガウス関数の標準偏差、ｖは空間平面に掛かるガウス関数の中心位置を表す速度、λは空間的周期（１/λは空間周波数）、φは位相の補正、μ_tは時間方向に掛かるガウス関数の平均値、τは時間方向に掛かるガウス関数の標準偏差、θはフィルタの空間的方向を表す。θは崩落の方向に対応し、ｖは崩落の速度と対応する。線形フィルタは、方向（θ）と速度（ｖ）と周期（λ）のパラメータで構成されている。例えば、4×4pixel程度の下向きの崩落の検知を目的とする場合には、θ=0°（下向き）、v =3pixel/frame、λ=8pixelのような設定が適当である。無論、これ以外の値をパラメータとすることも可能であり、パラメータを変化させることで検知特性を変えることができる。

図３は、本発明の実施の形態における三次元空間の説明図である。ここでは、空間的な画素の位置（Ｘ軸とＹ軸）と、その画素の時間的な位置（Ｔ軸）による三次元空間で入力画像を表し、画像上で輝度値が変化した画素だけを表示している。画像上の変化には、崩落だけでなく映像圧縮ノイズやちらつきノイズ等があるが、崩落は移動の軌跡が直線的に現われ、ノイズは時空間的に孤立した点として現われる。時空間ガボールフィルタは直線的な軌跡に対して高い動きエネルギー（Ｅ）を示すため、ノイズの中から崩落の軌跡を的確に検知することができる。特徴抽出の過程で検知対象となる現象とノイズとを分離することができるため、判定処理においては、高度なパターン認識処理を施す必要がなく、単純な閾値処理でも精度の良い崩落検知が可能となる。

しかしながら、空間的な特徴が強い変化が生じる場合は、図４に示すように、時空間ガボールフィルタが効果的に作用しないことがある。すなわち、（ａ）は、小崩落２１が生じている斜面を鳥２２が速いスピードで横切った場合の監視映像である。（ｂ）は、上下方向の動きに応答する時空間ガボールフィルタを施した結果であり、白い部分２１及び２２が応答箇所である。鳥はサイズが大きく、背景とのコントラストも大きいため、本来抽出すべき方向と直交する動きをする鳥に対しても時空間ガボールフィルタが応答し、検知対象の小崩落よりも大きな動きエネルギーが生じてしまっている。判定の閾値を上げれば鳥に対する応答を除外することは可能であるが、小崩落も検知できなくなってしまうため、通常の判定閾値の調整では、このような外乱現象と小崩落の識別は困難である。

そこで、本発明では、時空間ガボールフィルタ処理と並行してマスク生成処理を行う。すなわち、（ｃ）は、ノイズより少し高めの閾値処理にて二値化したフレーム間差分処理結果であり、黒い部分が変化領域（画素）である。（ｄ）は、その結果にモルフォロジー処理を施したものである。モルフォロジー処理は、一定サイズ以下の変化領域を除去するための圧縮処理と、一定サイズ以上の変化領域及びその周辺領域を抽出する膨張処理から構成される。（ｅ）は、時空間ガボールフィルタ処理結果（ｂ）に対して、変化の生じた部分２２を除外するマスク画像として（ｄ）の画像を施した最終結果である。

通常、小崩落は背景と同系色であるため、背景との輝度差が二値化閾値より小さく、（ｃ）の例のように、小崩落領域はフレーム間差分処理結果に残らないことが多い。結果として、モルフォロジー処理後のマスク画像（ｄ）では、鳥の動きに伴う変化及びその周辺領域のみが抽出されることになる。これにより、当該抽出領域を除外領域とするマスク処理で効果的に鳥の領域のみを除くこと、即ち小崩落の抽出が可能となる。他方、（ｃ’）の場合ように小崩落領域２１が残る場合でも、小崩落に伴う変化領域はそのサイズが非常に小さい。そのため、モルフォロジー処理の圧縮処理の過程で小崩落領域２１は除去され、マスク画像となる（ｄ）の画像には残らない。従って、（ｃ）の場合と同様に、鳥の領域のみを除くことが可能である。

以上のように、本発明の実施の形態における崩落検知システム１０によれば、検知対象である崩落を外乱現象と識別して正確に検知することができる。すなわち、崖崩れや地すべり等をその前兆現象段階から鳥の飛翔のような外乱現象と識別して自動検知できるようになるため、災害復旧活動現場その他、土砂災害危険箇所における作業の安全確保（災害の未然の防止）が容易になる。これらの自動検知システムでは誤報が問題となるが、本発明は外乱現象との識別における課題を解決するものであり、実用性の向上に寄与するものである。防災システムの一機能として、崩落発生の判定結果から監視センタや防災責任者へアラームやメール配信等の警報を自動発信する機能と組み合わせることで土砂災害監視における早期発見が可能になる。

なお、図４では、鳥の飛翔の識別を例にして説明したが、樹木の揺れなどの現象に対しても同様に有効に作用する。また、本発明は、土砂災害前兆現象と同様の背景環境と同系色の微小体の移動検知全般に対しても有効である。例えば、照明が利用できない低コントラスト環境での生物の監視などへの適用も可能である。

１０…崩落検知システム
１１…撮影部
１２…三次元データ作成部
１３…演算部
１４…マスク処理部
１５…判定部
１６…出力部
１７…マスク生成部

Claims (4)

1. 崩落を検知する崩落検知システムであって、
   検知対象の監視映像を撮影する撮影部と、
   前記撮影部により撮影された映像に対して時空間ガボールフィルタを施す演算部と、
   前記撮影部により撮影された映像のうち一定サイズ以上の変化領域を除外領域とするためのマスクを生成するマスク生成部と、
   前記マスク生成部により生成されたマスクを用いて前記時空間ガボールフィルタの処理結果にマスク処理を施すマスク処理部と、
   前記マスク処理部の処理結果を用いて崩落の有無を判定する判定部と、
   を備えたことを特徴とする崩落検知システム。
2. 前記マスク生成部は、前のフレームとの輝度差が所定の閾値より大きな画素を抽出するフレーム間差分処理と、前記フレーム間差分処理の処理結果に対して一定サイズ以上の変化領域及びその周辺領域を抽出するモルフォロジー処理とを実施して前記マスクを生成することを特徴とする請求項１記載の崩落検知システム。
3. 崩落を検知する崩落検知方法であって、
   検知対象の監視映像を撮影する撮影ステップと、
   前記撮影ステップで撮影された映像に対して時空間ガボールフィルタを施す演算ステップと、
   前記撮影ステップで撮影された映像のうち一定サイズ以上の変化領域を除外領域とするためのマスクを生成するマスク生成ステップと、
   前記マスク生成ステップで生成されたマスクを用いて前記時空間ガボールフィルタの処理結果にマスク処理を施すマスクステップと、
   前記マスクステップの処理結果を用いて崩落の有無を判定する判定ステップと、
   を備えたことを特徴とする崩落検知方法。
4. 前記マスク生成ステップでは、前のフレームとの輝度差が所定の閾値より大きな画素を抽出するフレーム間差分処理と、前記フレーム間差分処理の処理結果に対して一定サイズ以上の変化領域及びその周辺領域を抽出するモルフォロジー処理とを実施して前記マスクを生成することを特徴とする請求項３記載の崩落検知方法。