JP7078295B2 - 変状検出装置、変状検出方法、及びプログラム - Google Patents

Description

本発明は、変状を検出する変状検出装置、変状検出方法に関し、更には、これらを実現するためのプログラムに関する。

近年、自然災害に対する警戒システムの一環として、監視カメラが撮像した地形の画像を用いて、自然災害の前兆となる、地形の変状を検出する技術が提案されている。例えば、画像解析処理を用いて、土石流などの地形の変状を検出する技術が提案されている。

関連する技術として、非特許文献１には、画像解析処理としてフレーム間輝度差分方式、オプティカルフロー方式、動画パターン検出方式を用いた土石流検出システムが開示されている。また、関連する技術して、非特許文献２には、動画パターン検出方式を用いた土石流検出システムが開示されている。

ここで、フレーム間輝度差分方式とは、現在の画像（ｎフレーム目の画像）と、現在より以前の画像（ｎ－１フレーム目の画像）とを用いて、同じ位置の画素の輝度の差分を算出し、差分が閾値以上となる領域を検出する方式である。また、オプティカルフロー方式とは、複数の連続した画像（動画像）を用いて、物体の動きをベクトルで表す方式である。更に、動画パターン方式とは、画像の各ピクセルの変化をグループ化し一つの物体として認識し、その移動量と方向から、物体が移動したか否かを判断する方式である。

本田健、外３名、「映像解析手法を用いた土石流検知システムの現地実証試験」砂防学会研究発表会概要集、２００６年５月２２日、ｐ．３８８-３８９ 木下篤彦、外５名、「監視カメラの画像判読技術を用いた土石流の監視に関する検討」砂防学会研究発表会概要集、２０１１年５月１８日、ｐ．５３４-５３５

しかしながら、非特許文献１には、上述したフレーム間輝度差分方式、又はオプティカルフロー方式、又は動画パターン検出方式を採用した土石流検出システムを用いて、土石流による地形の変状を検出する場合、誤検出が多いことが開示されている。

また、非特許文献２には、フレーム間輝度差分方式、オプティカルフロー方式より誤検出が少ない動画パターン方式を採用した土石流検出システムを用いているが、実際の運用において土石流を検出するためには、更に精度を向上させる必要があることが開示されている。

更に、非特許文献１、２には、土石流に特化した画像解析処理について開示がされているが、崩落、落石、地滑り、陥没などにより発生する地形の変状を検出することについては、なんら開示がされていない。

本発明の目的の一例は、画像に撮像された地形の変状を精度よく検出する変状検出装置、変状検出方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における変状検出装置は、
あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出部と、
前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出部と、
前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、変状スコア算出部と、
を有することを特徴とする。

また、上記目的を達成するため、本発明の一側面における変状検出方法は、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を有することを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を実行させることを特徴とする。

以上のように本発明によれば、画像に撮像された地形の変状を精度よく検出することができる。

図１は、変状検出装置の一例を示す図である。 図２は、変状検出装置を有するシステムの一例を示す図である。 図３は、差分スコア算出部の準備フェーズを説明するための図である。 図４は、差分スコア算出部の解析フェーズの説明をするための図である。 図５は、リーチを算出する場合に設定する方向と距離とを示す図である。 図６は、起点の設定について説明をするための図である。 図７は、反転スコアモデルのデータ構造の一例を示す図である。 図８は、反転スコア算出部の解析フェーズの説明をするための図である。 図９は、予測スコア出力部と学習部との説明をするための図である。 図１０は、変状検出装置の動作の一例を示すフロー図である。 図１１は、差分スコア算出部の動作の一例を示すフロー図である。 図１２は、反転スコア算出部の動作の一例を示すフロー図である。 図１３は、変状検出装置を実現するコンピュータの一例を示す図である。

（実施の形態）
以下、本発明の実施の形態について、図１から図１３を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本実施の形態における変状検出装置１の構成について説明する。図１は、変状検出装置の一例を示す図である。

図１に示す変状検出装置１は、画像解析処理を用いて、画像に撮像された地形の変状を検出する精度を向上させる装置である。また、図１に示すように、変状検出装置１は、差分スコア算出部２と、反転スコア算出部３と、変状スコア算出部４とを有する。

このうち、差分スコア算出部２は、あらかじめ地形を撮像した複数の背景画像それぞれにおいて、背景画像の画素値を用いて算出したヒストグラムと、地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、入力画像と類似する背景画像を選択し、選択した背景画像の画素値と入力画像の画素値との差分に基づいて差分スコアを算出する。

反転スコア算出部３は、背景画像に設定した画素同士の画素値の大小関係と、入力画像に設定した画素同士の画素値の大小関係とを比べ、入力画像の大小関係が背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する。

変状スコア算出部４は、差分スコアと反転スコアとを統合して、地形が変状したか否かを表す変状スコアを算出する。

このように、本実施の形態においては、異なる画像解析処理を組み合わせて、画像解析処理ごとにスコアを算出し、算出したスコアに基づいて地形の変状を検出する。そのため、画像解析処理を用いて、自然災害の前兆となる、画像に撮像された地形の変状を精度よく検出することができる。その結果、誤検出を低減することができる。

また、本実施の形態においては、土石流だけでなく、崩落、落石、地滑り、陥没などの自然災害による地形の変状も、画像に撮像された地形の変状から検出できる。

なお、画像解析処理の組み合わせは、利用シーンに合わせて選択することが望ましい。その理由は、苦手分野を補完し合うような画像解析処理を組み合わせることで、地形の変状を更に精度よく検出できるからである。

［システム構成］
続いて、図２を用いて、本実施の形態における変状検出装置１の構成をより具体的に説明する。図２は、変状検出装置を有するシステムの一例を示す図である。

図２に示すように、本実施の形態における変状検出装置１を有するシステム２０は、変状検出装置１に加えて、撮像装置２１と、出力装置２２とを有する。また、変状検出装置１は、ネットワークなどに接続されている。更に、変状検出装置１は、図１に示した差分スコア算出部２、反転スコア算出部３、変状スコア算出部４に加えて、前処理部２３、予測スコア出力部２４、情報取得部２５、出力情報生成部２６などを有する。

撮像装置２１は、ネットワークを介して変状検出装置１と接続され、撮像対象の地形を含む画像を撮像し、撮像した画像に対応する情報を変状検出装置１に送信する。具体的には、撮像装置２１は、所定周期において、撮像対象の地形の画像を含む静止画像又は動画像などを、有線又は無線などの通信を用いて、変状検出装置１へ送信する。なお、異なる場所に複数の撮像装置２１を用意し、複数の異なる撮像対象の地形の画像に対して巡回監視をしてもよい。また、撮像装置２１は、例えば、ビデオレコーダなどでもよい。その場合、ビデオレコーダなどが撮像した、録画映像（静止画像又は動画像）を、変状検出装置１に送信してもよい。

出力装置２２は、出力情報生成部２６から出力される出力情報を、ネットワークを介して取得し、その出力情報に基づいて生成した画像（静止画像又は動画像）及び音声などを出力する。出力装置２２は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を用いた画像表示装置、更にはスピーカなどの音声出力装置などを有している。なお、出力装置２２は、プリンタなどの印刷装置でもよい。

前処理部２３は、入力画像に対して、（１）撮像装置２１の振動を検出する処理、（２）画像に撮像された遮蔽物を検出する処理、（３）撮像した画像の撮像範囲のずれを補正する処理などを実行する。（１）（２）（３）の処理について具体的に説明する。

（１）の処理において、前処理部２３は、例えば、パン、チルト、ズームなどの制御、地震、風などの影響により、撮像装置２１自身が振動しているか否かを検出する。具体的には、撮像装置２１の振動検出には、オプティカルフロー方式により算出したフローベクトル群を用いて、画像上での移動方向によるヒストグラムを作成し、ある方向の割合があらかじめ設定された閾値を超えた場合、撮像装置２１が振動していると判定する。

オプティカルフロー方式については、例えば、文献「Bruce D. Lucas, and Takeo Kanade, “An iterative image registration technique with an application to stereo vision” IJCAI'81 Proceedings of the 7th international joint conference on Artificial intelligence - Volume 2 Pages 674-679, Vancouver, BC, Canada - August 24 - 28, 1981.」などに記載されている。

続いて、（１）の処理において、前処理部２３は、地形を撮像する撮像装置２１が振動している場合、振動をしている時間に撮像した画像（背景画像又は入力画像）を除外する。このように、誤検出の原因となる画像を除外することにより、誤検出を低減できる。

（２）の処理において、前処理部２３は、まず、地形を撮像した画像（背景画像又は入力画像）から、地形の変状と別の遮蔽物が撮像された画像を検出する。遮蔽物とは、例えば、霧、煙などである。続いて、（２）の処理において、前処理部２３は、地形を撮像した画像に、地形の変状と別に遮蔽物が撮像された画像を検出した場合、遮蔽物が撮像された時間に撮像した画像を除外する。このように、誤検出の原因となる画像を除外することにより、誤検出を低減できる。

遮蔽物の検出は、局所的な特徴を用いて、遮蔽物が撮像されているか否かを判定する。例えば、霧、煙がかかった場合、画像に撮像された霧、煙に相当する遮蔽領域には、（ａ）コントラストの低下、（ｂ）ぼけの発生（高周波成分の消滅など）、（ｃ）彩度の低下などが発生する。

そこで、（２）の処理において、前処理部２３は、まず、撮像した画像を、複数の局所領域に分解し、それぞれの局所領域に対して、（ａ）（ｂ）（ｃ）に対応する特徴を表す指標値を算出する。例えば、（ａ）の指標値としてはコントラストレベル（単位：輝度値）を算出し、（ｂ）の指標値としては高周波成分数（単位：画素数）を算出し、（ｃ）の指標としては彩度（単位：輝度値）を算出する。

（ａ）コントラストレベルを表す指標値は、局所領域内の最大輝度値（最も明るい場所）と最小輝度値（最も暗い場所）との差とする。（ｂ）ぼけの発生を表す指標値は、局所領域に対してエッジ抽出処理を実行し、近傍の画素と比べて輝度の差が大きい画素を検出し、その検出した画素の数を高周波成分に対応する指標値とする。（ｃ）彩度を表す指標値は、色成分ＲＧＢ値のうち、最も値の大きい成分と、最も値の小さい成分との差とする。なお、差が小さいほど彩度は低くなる。

続いて、局所領域ごとに指標値を算出した後、前処理部２３は、算出した指標値と、あらかじめ設定した判定条件とを比較し、判定条件に合致する領域が検出された場合、検出された領域を遮蔽領域であると判定する。判定条件は、（ａ）（ｂ）（ｃ）の指標値を用いる場合、コントラストレベルに対する閾値、局所領域内の高周波成分に対応する画素数に対する閾値、彩度に対する閾値を有する。これらの閾値は、例えば、実験、シミュレーションなどにより決定する。

（３）の処理において、前処理部２３は、撮像装置２１を用いて撮像した入力画像が、基準位置画像（プリセット画像）からどれくらいずれているのか、ずれ量（距離と方向）を推定する。入力画像とプリセット画像とのずれは、例えば、パン、チルト、ズームなどの制御、レンズの屈折などの影響により発生する。また、ずれ量の推定は、例えば、増分符号によるテンプレートマッチング処理を用いて、入力画像とプリセット画像とのずれ量を推定する。

具体的には、前処理部２３は、まず、基準となるプリセット画像の増分符号を算出する。続いて、前処理部２３は、プリセット画像のランダムな位置に、大きさの異なる複数の領域を設定し、設定した領域それぞれを、位置ずれ量を推定するためのテンプレート領域とする。また、前処理部２３は、入力画像を取得した後、入力画像の増分符号を算出する。

続いて、前処理部２３は、テンプレート領域の増分符号と入力画像の増分符号とを用いて、増分符号の相違度が最も小さい、入力画像におけるテンプレート領域と同じ大きさの領域を検出する。その後、前処理部２３は、テンプレート領域と検出した領域との座標位置の差を算出してずれ量とする。

続いて、前処理部２３は、全てのテンプレート領域に対して、上述したようにずれ量を算出した後、全てのずれ量のなかから中央値となるずれ量を選択し、プリセット画像と入力画像とのずれ量とする。そして、前処理部２３は、推定したずれ量を用いて、入力画像のずれを補正する。

なお、増分符号については、例えば、文献「村瀬一郎，金子俊一，五十嵐悟，“増分符号相関法による画像照合*―光沢物体および不良照明条件に対するロバスト画像処理―” 精密工学会誌Vo1.66,No.2,2000, Pages 261-265, 1999-05-21」などに記載されている。

なお、（１）（２）（３）に示す処理を実行する順番は限定されない。また、前処理として、（１）、又は（２）、又は（３）、又は（１）（２）（３）のうち二つ以上を組み合わせて処理をしてもよい。

差分スコア算出部２の準備フェーズ（学習フェーズ）について、図３を用いて具体的に説明する。図３は、差分スコア算出部の準備フェーズを説明するための図である。

差分スコア算出部２は、準備フェーズにおいて、まず、図３に示すような複数の背景画像３１、３２、３３、３４を取得する。続いて、差分スコア算出部２は、取得した背景画像３１から３４それぞれについて、画素と当該画素ごとの画素値とを関連付けて、背景画像ヒストグラム集合３５を算出する。画素値は、例えば、画素ごとの輝度又は明度などを表す値である。

背景画像ヒストグラム集合３５は、背景画像３１から３４と、背景画像３１から３４を識別する「背景画像ＩＤ」と、背景画像３１から３４それぞれについて、画像内の同じ画素値の画素数を表す「画素値ごとの画素数」とが関連付けられ、差分スコアモデルとして、不図示の記憶部に記憶されている。「背景画像ＩＤ」には、例えば、背景画像３１から３４を識別するための識別子「１」「２」「３」「４」が記憶されている。「画素値ごとの画素数」には、例えば、「背景画像ＩＤ」が「１」の場合、背景画像３１内の同じ画素値の画素数を表す「ｂｒ１－１」「ｂｒ１－２」「ｂｒ１－３」「ｂｒ１－４」……「ｂｒ１－Ｎ」が記憶されている。画素値は、例えば、２５６段階で表し、０から２５５などとする。

次に、差分スコア算出部２の解析フェーズについて、図４を用いて具体的に説明する。図４は、差分スコア算出部の解析フェーズの説明をするための図である。

差分スコア算出部２は、解析フェーズにおいて、まず、図４に示すような入力画像４１を取得する。続いて、差分スコア算出部２は、入力画像４１の全ての画素ごとに、画素ごとの画素値に基づいて、図４に示すような画素値ヒストグラム４２を算出する。差分スコア算出部２は、例えば、入力画像４１内の同じ画素値の画素数を表す「ｂｒｉ－１」「ｂｒｉ－２」「ｂｒｉ－３」「ｂｒｉ－４」……「ｂｒｉ－Ｎ」を算出する。続いて、差分スコア算出部２は、背景画像ヒストグラム集合３５を取得する。

差分スコア算出部２は、背景画像ヒストグラム集合３５と画素値ヒストグラム４２とを用いて、背景画像ヒストグラム集合３５のなかから、画素値ヒストグラム４２に類似する背景画像ヒストグラム４３を選択する。その後、差分スコア算出部２は、背景画像ヒストグラム４３に対応する背景画像３２を選択する。

続いて、差分スコア算出部２は、選択した背景画像３２の画素と、入力画像４１の同じ位置にある画素とを用いて、画素値の差分を算出する。そして、差分スコア算出部２は、算出した差分と閾値Ｔｈ１とを比較し、差分が閾値Ｔｈ１以上である場合、その画素に前景を表す情報を関連付ける。また、差分スコア算出部２は、差分が閾値Ｔｈ１未満である場合、その画素には背景を表す情報（前景を表す情報以外の情報）を関連付ける。例えば、図４に示す画像４４のように画像を二値化する場合、背景（黒色）を表す情報を「０」とし、前景（白色）を示す情報を「２５５」とする。

続いて、差分スコア算出部２は、図４に示すように、画素ごとに差分スコアＳｃを算出し、画素と差分スコアＳｃ（「Ｓｃ－１」「Ｓｃ－２」「Ｓｃ－３」「Ｓｃ－４」……「Ｓｃ－Ｎ」）とを関連付け、差分スコア情報４５（差分スコアモデル）を生成し、不図示の記憶部に記憶する。ただし、差分スコアＳｃの算出は、上述した方法に限定されるものではない。なお、記憶部は、変状検出装置１内に設けてもよいし、変状検出装置１の外部に設けてもよい。

なお、上述したヒストグラムの算出においては、画素ごとに算出したが、あらかじめ設定した大きさの領域（複数の画素を有する領域）を背景画像それぞれの同じ位置に複数設定し、領域ごとにヒストグラムを算出してもよい。その場合、差分スコアは、領域ごとに算出される。

反転スコア算出部３の準備フェーズ（学習フェーズ）について具体的に説明する。反転スコア算出部３は、まず、複数の背景画像３１から３４を取得する。続いて、反転スコア算出部３は、背景画像３１から３４を用いてリーチを算出する。リーチは、起点ｐとなる画素と、起点ｐに対してあらかじめ設定された一つ以上の方向ごとに決定される終点ｑの画素とにより表される。すなわち、リーチは、画素値の差が画素値閾値（閾値Ｔｈ２）より大きい、又は小さい確率が、背景画像全体において確率閾値（閾値Ｔｈ３）以上となる点対を算出したものであり、起点ｐとなる画素と、起点ｐに対してあらかじめ設定された一つ以上の方向ごとに決定される終点ｑの画素とにより表される。

リーチの算出について説明する。図５は、リーチを算出する場合に設定する方向と距離とを示す図である。図５の例では、起点ｐを起点として、８方向（矢印）にｋ１、ｋ２、ｋ３、ｋ４、ｋ５、ｋ６、ｋ７、ｋ８が設定されている。また、図５に示した方向ｋ１からｋ８上の画素に対して設定した符号ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、ｄ７は、起点ｐからの距離（画素の数）を示している。

リーチを算出する場合、反転スコア算出部３は、背景画像３１から３４それぞれの同じ位置に、所定順に、起点ｐを設定する。図６は、起点の設定について説明をするための図である。例えば、背景画像３１から３４それぞれが、図６に示すように、座標（０，０）から（ｍ，ｎ）に対応するＮ個の画素を有している場合、所定順に、Ｎ個の画素それぞれに起点ｐを設定する。言い換えれば、背景画像３１から３４それぞれの同じ位置の画素に、所定順に起点ｐを設定していく。

また、反転スコア算出部３は、起点ｐを設定するたびに、現在設定されている起点ｐに対する終点ｑを、方向ｋ１からｋ８それぞれについて決定する。

終点ｑを算出する場合、反転スコア算出部３は、まず、終点ｑの候補として、起点ｐに近い画素を選択する。画素の選択は、例えば、方向ｋ１からｋ８を所定順に選択し、選択した方向（図５に示す矢印）上の画素において、起点ｐに距離が近い画素から順に選択する。図５の例であれば、方向ｋ１が選択された場合、方向ｋ１上の距離ｄ１に対応する画素から順に、終点ｑの候補を選択する。

続いて、反転スコア算出部３は、背景画像３１から３４それぞれの選択された終点ｑの候補に対応する画素値を取得する。画素値は、例えば、画素ごとの輝度又は明度などを表す値である。そして、反転スコア算出部３は、背景画像３１から３４それぞれについて、現在設定されている起点ｐの画素値と、当該起点ｐに対応する終点ｑの候補の画素値との大小関係を算出する。

例えば、起点ｐを起点とする方向ｋ１上の距離ｄ１に対応する画素が終点ｑの候補として選択された場合、反転スコア算出部３は、数１に示すような、起点ｐの画素値と、起点ｐに対応する終点ｑの候補の画素値との大小関係を表す大小関係情報を生成する。

（数１）
ｐｖ１＞ｑｖ１＋Ｔｈ２
ｐｖ２＞ｑｖ２＋Ｔｈ２
ｐｖ３＋Ｔｈ２＜ｑｖ３
ｐｖ４＞ｑｖ４＋Ｔｈ２
ｐｖ１：背景画像３１の現在設定されている起点ｐの画素値
ｐｖ２：背景画像３２の現在設定されている起点ｐの画素値
ｐｖ３：背景画像３３の現在設定されている起点ｐの画素値
ｐｖ４：背景画像３４の現在設定されている起点ｐの画素値
ｑｖ１：背景画像３１の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
ｑｖ２：背景画像３２の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
ｑｖ３：背景画像３３の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
ｑｖ４：背景画像３４の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
Ｔｈ２：閾値

続いて、反転スコア算出部３は、終点ｑを決定するために、数２を用いて、確率Ｐｒを算出する。

（数２）
Ｐｒ＝ＭＲｎ／ＢＩｎ
Ｐｒ ：現在設定されている起点ｐと終点ｑの候補の確率
ＭＲｎ：起点ｐの画素値が終点ｑの候補の画素値より大きい又は小さい背景画像の数
ＢＩｎ：背景画像の全数

数１の例では、背景画像３１から３４における、現在設定されている起点ｐの画素値と終点ｑ候補の画素値との大小関係は、ｐｖ１＞ｑｖ１＋Ｔｈ２、ｐｖ２＞ｑｖ２＋Ｔｈ２、ｐｖ３＋Ｔｈ２＜ｑｖ３、ｐｖ４＞ｑｖ４＋Ｔｈ２になっているので、起点ｐの画素値が終点ｑの候補の画素値＋閾値Ｔｈ２より大きい背景画像の数ＭＲｎ＝３となる。また、終点ｑの画素値が起点ｐの候補の画素値より＋閾値Ｔｈ２大きい背景画像の数ＭＲｎ＝１となる。また、背景画像３１から３４の全数は４個なので、ＢＩｎ＝４となる。従って、背景画像３１から３４における、現在設定されている起点ｐの画素値と終点ｑの候補の画素値とから算出される確率Ｐｒは３／４と１／４となる。しかし、確率Ｐｒは、ｐ＞ｑ＋Ｔｈ２、ｐ＋Ｔｈ２＜ｑそれぞれの確率のうち、大きい値の方を採用するため、３／４となる。

続いて、反転スコア算出部３は、算出した確率Ｐｒと閾値Ｔｈ３とを比較する。算出した確率Ｐｒが閾値Ｔｈ３以上である場合、反転スコア算出部３は、その終点ｑの候補を終点ｑに決定する。なお、閾値Ｔｈ３は、実験、シミュレーションなどにより決定する。

図７は、反転スコアモデルのデータ構造の一例を示す図である。図７に示すように、現在設定されている起点ｐの座標を表す情報（「起点ｐ（座標）」）と、現在選択されている方向（「方向」）と、現在選択されている距離（「終点ｑ（距離）」）と、現在設定されている起点ｐの画素値と終点ｑの画素値との大小関係を表す情報（「大小関係情報」：ｐ＞ｑ又はｐ＜ｑ）とを関連付けて、不図示の記憶部の反転スコアモデル７１に記憶する。

このように、反転スコア算出部３は、起点ｐに対する方向ごとに、上述した処理を実行して、起点ｐに対する方向ごとの終点ｑを決定し、起点ｐと終点ｑとの大小関係情報を方向ごとに算出して、記憶部の反転スコアモデル７１に記憶する。

統計的リーチ特徴法については、例えば、文献「岩田 健司，佐藤 雄隆，尾崎 竜史，坂上 勝彦，“統計的リーチ特徴法に基づくロバスト背景差分” 電子情報通信学会論文誌. D, 情報・システム = The IEICE transactions on information and systems (Japanese edition) 92(8), 1251-1259, 2009-08-01」などに記載されている。

次に、反転スコア算出部３の解析フェーズについて、図８を用いて具体的に説明する。図８は、反転スコア算出部の解析フェーズの説明をするための図である。

反転スコア算出部３は、解析フェーズにおいて、まず、図８に示すような入力画像４１を取得する。また、反転スコア算出部３は、反転スコアモデル７１を取得する。続いて、反転スコア算出部３は、入力画像４１と取得した反転スコアモデル７１とを比較して、大小関係が異なる画素を検出する。

具体的には、反転スコア算出部３は、反転スコアモデル７１の起点ｐの座標と、起点ｐの座標に対応する方向ごとの終点ｑの座標を用いて、入力画像４１における起点ｐと終点ｑそれぞれと同じ位置の画素を検出する。続いて、反転スコア算出部３は、入力画像４１における起点ｐと終点ｑそれぞれとに対応する画素の画素値を取得し、取得した画素値の差が閾値Ｔｈ４以上である場合、取得した画素値に基づいて、入力画像４１における、起点ｐと終点ｑそれぞれとの大小関係を算出する。

続いて、反転スコア算出部３は、方向ごとに、算出した入力画像４１の大小関係と、反転スコアモデル７１の大小関係とを比較し、あらかじめ設定した閾値Ｔｈ５以上、方向ごとの大小関係が一致している場合、その画素に背景を表す情報を設定する。また、反転スコア算出部３は、閾値Ｔｈ５未満しか、大小関係が一致していない場合、その画素に前景を表す情報を設定する。

例えば、入力画像４１の対象画素において、起点ｐと方向ｋ１からｋ８それぞれに対応する終点ｑの大小関係が、起点ｐと方向ｋ１、ｋ２、ｋ３、ｋ４、ｋ６、ｋ７の終点ｑにおいて、大小関係が反転スコアモデル７１と同じである場合、大小関係が一致する数は６個となる。そして、一致する数が閾値Ｔｈ５以上である場合、対象の画素を背景に設定する。例えば、図８の画像８１に示すように画像を二値化した場合、背景（黒色）を表す情報を「０」とし、前景（白色）を示す情報を「２５５」とする。

続いて、反転スコア算出部３は、図８に示すように、画素ごとに反転スコアＳｒを算出し、画素と反転スコアＳｒ（「Ｓｒ－１」「Ｓｒ－２」「Ｓｒ－３」「Ｓｒ－４」……「Ｓｒ－Ｎ」）とを関連付け、反転スコア情報８２（反転スコアモデル）を生成し、記憶部に記憶する。ただし、反転スコアの算出は、上述した方法に限定されるものではない。例えば、ガウシアンフィルタなどの平滑化フィルタを適用してもよい。なお、記憶部は、変状検出装置１内に設けてもよいし、変状検出装置１の外部に設けてもよい。

予測スコアを出力するための準備フェーズ（学習フェーズ）と解析フェーズとについて、図９を用いて具体的に説明する。図９は、予測スコア出力部と学習部との説明をするための図である。

学習部９１は、準備フェーズにおいて、地形の変状が撮像されている背景画像、又は地形に変状がない背景画像、又はそれら両方を入力して学習をし、入力画像に対して、地形が変状しているか否かを予測する予測モデルを生成させる。

具体的には、学習部９１は、準備フェーズにおいて、まず、撮像した土石流、崩落、落石、地滑り、陥没などの事象を撮像した複数の背景画像を正解学習データとして、学習部９１へ入力し、機械学習をさせて、予測モデルを生成する。又は、学習部９１は、準備フェーズにおいて、事象が発生していない複数の背景画像を不正解学習データとして、学習部９１へ入力し、機械学習をさせて、予測モデルを生成する。又は、学習部９１は、上述した正解学習データと不正解学習データとを学習部９１へ入力し、機械学習をさせて、予測モデルを生成する。なお、学習部９１は、例えば、分類、回帰、クラスタリングなどの手法を用いて機械学習をして、予測モデルを生成する。

予測スコア出力部２４は、解析フェーズにおいて、入力画像と、予測モデルとを用いて、地形が変状したか否かを表す予測スコアを出力する。具体的には、予測スコア出力部２４は、入力画像を取得し、取得した入力画像の画素又は領域ごとに、学習部９１の予測モデルを用いて、事象発生の有無を表す予測スコアを出力する。また、予測スコアは、例えば、画素ごとに０から２５５の範囲の整数値などとする。

なお、予測スコア出力部２４は、ルールベースの予測モデルを用いて、予測スコアを算出してもよい。

変状スコア算出部４は、差分スコアＳｃと反転スコアＳｒとを統合して、地形が変状したか否かを表す変状スコアＳｔを算出する。又は、変状スコア算出部４は、差分スコアＳｃと反転スコアＳｒと予測スコアＳｐとを統合して、変状スコアＳｔを算出する。

具体的には、変状スコア算出部４は、数３に示すように、画素ごとに、差分スコアＳｃ、反転スコアＳｒ、予測スコアＳｐそれぞれに重み係数ｗ１、ｗ２、ｗ３を乗算し、乗算した値を加算して変状スコアＳｔを算出する。

（数３）
Ｓｔ＝（Ｓｃ×ｗ１）＋（Ｓｒ×ｗ２）＋（Ｓｐ×ｗ３）
Ｓｔ：画素ごとの変状スコア
Ｓｃ：画素ごとの差分スコア
ｗ１：差分スコアに対する重み係数
Ｓｒ：画素ごとの反転スコア
ｗ２：反転スコアに対する重み係数
Ｓｐ：画素ごとの予測スコア
ｗ３：予測スコアに対する重み係数

重み係数ｗ１、ｗ２、ｗ３は、気象情報、観測情報に応じて、上述したスコアそれぞれを補正する係数である。なお、重み係数ｗ１、ｗ２、ｗ３は、例えば、０．０から１．０の間の実数で示され、重み係数ｗ１、ｗ２、ｗ３の合計は１．０になるようにする（正規化）。

情報取得部２５は、気象情報、観測情報などの情報を、直接又はネットワークを介して取得する。具体的には、情報取得部２５は、天候、温度、湿度、雨量、積雪、河川水位、土砂、台風、噴火、降灰、波浪、潮位、津波などの情報を取得し、変状スコア算出部４へ送信する。

出力情報生成部２６は、差分スコア、又は反転スコア、又は予測スコア、又は変状スコア、又は地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置２２へ出力するための出力情報を生成し、生成した出力情報を出力装置２２へ送信する。

［装置動作］
次に、本発明の実施の形態における変状検出装置１の動作について、図１０を用いて説明する。図１０は、変状検出装置の動作の一例を示すフロー図である。以下の説明においては、適宜図２から図９を参照する。また、本実施の形態では、変状検出装置１を動作させることによって、変状検出方法が実施される。よって、本実施の形態における変状検出方法の説明は、以下の変状検出装置１の動作説明に代える。

図１０に示すように、最初に、変状検出装置１は、撮像装置２１から入力画像を取得する（ステップＡ１）。具体的には、変状検出装置１は、ネットワークを介して撮像装置２１から、撮像した対象の地形の画像を含む入力画像（静止画像又は動画像など）を、有線又は無線などの通信を用いて取得する。

続いて、前処理部２３は、取得した入力画像に対して、（１）撮像装置２１の振動を検出する処理、（２）画像に撮像された遮蔽物を検出する処理、（３）撮像した画像の撮像範囲のずれを補正する処理などの前処理を実行する（ステップＡ２）。

ステップＡ２の（１）の処理において、前処理部２３は、撮像装置２１自身が振動しているか否かを検出する。続いて、前処理部２３は、撮像装置２１が振動している場合、振動をしている時間に撮像した画像（背景画像又は入力画像）を除外する。

ステップＡ２の（２）の処理において、前処理部２３は、地形を撮像した画像（背景画像又は入力画像）から、地形の画像を遮蔽する遮蔽物が撮像された画像を検出する。続いて、地形を撮像した画像に、地形の変状と別に遮蔽物が撮像された画像を検出した場合、遮蔽物がある時間に撮像した画像を除外する。

ステップＡ２の（３）の処理において、前処理部２３は、撮像装置２１を用いて撮像した入力画像が、基準位置画像（プリセット画像）からどれくらいずれているのか、ずれ量（距離と方向）を推定する。続いて、前処理部２３は、テンプレート領域の増分符号と入力画像の増分符号とを用いて、増分符号の相違度が最も小さい、入力画像におけるテンプレート領域と同じ大きさの領域を検出する。その後、前処理部２３は、テンプレート領域と検出した領域との座標位置の差を算出してずれ量とする。続いて、前処理部２３は、全てのテンプレート領域に対して、上述したようにずれ量を算出した後、全てのずれ量のなかから中央値となるずれ量を選択し、プリセット画像と入力画像とのずれ量とする。そして、前処理部２３は、推定したずれ量を用いて、入力画像のずれを補正する。

なお、ステップＡ２において、（１）（２）（３）の処理を実行する順番は限定されない。また、前処理として、（１）、又は（２）、又は（３）、又は（１）（２）（３）のうち二つ以上を組み合わせて処理をしてもよい。

続いて、差分スコア算出部２は、あらかじめ地形を撮像した複数の背景画像それぞれにおいて、背景画像の画素値を用いて算出したヒストグラムと、地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、入力画像と類似する背景画像を選択し、選択した背景画像の画素値と入力画像の画素値との差分に基づいて差分スコアを算出する（ステップＡ３）。

ステップＡ３について具体的に説明する。図１１は、差分スコア算出部の動作の一例を示すフロー図である。

ステップＢ１において、差分スコア算出部２は、図４に示すような入力画像４１を取得する。ステップＢ２において、差分スコア算出部２は、入力画像４１の画素値ヒストグラム４２を算出する。

ステップＢ３において、差分スコア算出部２は、背景画像ヒストグラム集合３５を取得する。ステップＢ４において、差分スコア算出部２は、背景画像ヒストグラム集合３５と画素値ヒストグラム４２とを用いて、画素値ヒストグラム４２に類似する背景画像ヒストグラム４３を背景画像ヒストグラム集合３５から選択する。

ステップＢ５において、差分スコア算出部２は、選択した背景画像３２の画素と、同じ位置にある入力画像４１の画素とを用いて、画素値の差分を算出し、ステップＢ６において、算出した差分と閾値Ｔｈ１とを比較する。ステップＢ７において、差分が閾値Ｔｈ１以上である場合（ステップＢ６：Ｙｅｓ）、差分スコア算出部２は、対象画素に前景を表す情報を関連付ける。また、ステップＢ８において、差分が閾値Ｔｈ１未満である場合（ステップＢ６：Ｎｏ）、差分スコア算出部２は、対象画素には背景を表す情報（前景を表す情報以外の情報）を関連付ける。例えば、図４に示す画像４４のように画像を二値化する場合、背景（黒色）を表す情報を「０」とし、前景（白色）を示す情報を「２５５」とする。

ステップＢ９において、差分スコア算出部２は、全ての画素に対して、前景又は背景を表す情報を関連付けた場合（ステップＢ９：Ｙｅｓ）、ステップＢ１１の処理に移行する。また、全ての画素に対して、前景又は背景を表す情報を関連付けられていない場合（ステップＢ９：Ｎｏ）、ステップＢ１０の処理に移行し、ステップＢ１０において次の画素を設定する。

ステップＢ１１において、差分スコア算出部２は、図４に示すように、画素ごとに差分スコアＳｃを算出し、画素と差分スコアＳｃ（「Ｓｃ－１」「Ｓｃ－２」「Ｓｃ－３」「Ｓｃ－４」……「Ｓｃ－Ｎ」）とを関連付け、差分スコア情報４５を生成し、不図示の記憶部に記憶する。

続いて、反転スコア算出部３は、背景画像に設定した画素同士の画素値の大小関係と、入力画像に設定した画素同士の画素値の大小関係とを比べ、入力画像の大小関係が背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する（ステップＡ４）。

ステップＡ４について具体的に説明する。図１２は、反転スコア算出部の動作の一例を示すフロー図である。

ステップＣ１において、反転スコア算出部３は、図８に示すような入力画像４１を取得する。ステップＣ２において、反転スコア算出部３は、上述した反転スコアモデル７１を取得する。

ステップＣ３において、反転スコア算出部３は、反転スコアモデル７１の起点ｐの座標と、起点ｐの座標に対応する方向ごとの終点ｑの座標を用いて、入力画像４１における起点ｐと終点ｑと同じ位置の画素を検出する。

ステップＣ４において、反転スコア算出部３は、入力画像４１における起点ｐと終点ｑそれぞれとに対応する画素の画素値を取得し、取得した画素値に基づいて、入力画像４１における、起点ｐと終点ｑそれぞれとの大小関係を算出する。

ステップＣ５において、反転スコア算出部３は、方向ごとに、算出した入力画像４１の大小関係と、反転スコアモデル７１の大小関係とを比較する。ステップＣ６において、あらかじめ設定した閾値Ｔｈ５以上、方向ごとの大小関係が一致している場合（ステップＣ５：Ｙｅｓ）、反転スコア算出部３は、対象画素に背景を表す情報を設定する。ステップＣ７において、閾値Ｔｈ５未満しか、大小関係が一致していない場合（ステップＣ５：Ｎｏ）、反転スコア算出部３は、対象画素に前景を表す情報を設定する。

ステップＣ８において、反転スコア算出部３は、全ての画素に対して、前景又は背景を表す情報を設定した場合（ステップＣ８：Ｙｅｓ）、ステップＣ１０の処理に移行する。また、全ての画素に対して、前景又は背景を表す情報を関連付けられていない場合（ステップＣ８：Ｎｏ）、ステップＣ９の処理に移行して、次の画素を設定し、ステップＣ５の処理に移行する。

ステップＣ１０において、反転スコア算出部３は、図８に示すように、画素ごとに反転スコアＳｒを算出し、画素と反転スコアＳｒ（「Ｓｒ－１」「Ｓｒ－２」「Ｓｒ－３」「Ｓｒ－４」……「Ｓｒ－Ｎ」）とを関連付け、反転スコア情報８２を生成し、記憶部に記憶する。

続いて、予測スコア出力部２４は、入力画像と、予測モデルとを用いて、地形が変状したか否かを表す予測スコアを出力する。（ステップＡ５）。具体的には、予測スコア出力部２４は、入力画像を取得し、取得した入力画像の画素ごとに、学習部９１の予測モデルを用いて、事象発生の有無を表す予測スコアを出力する。

なお、上述したステップＡ３、Ａ４、Ａ５の処理をする順序は、上述した順序に限定されるものではない。また、ステップＡ３、Ａ４、Ａ５の処理は、全ての処理を用いる必要はなく、二つの処理を組み合わせただけでもよい。

変状スコア算出部４は、気象情報、観測情報などの情報を、直接又はネットワークを介して取得する。（ステップＡ６）。

変状スコア算出部４は、差分スコアＳｃ、反転スコアＳｒ、予測スコアＳｐのうち二つ以上を組み合わせて統合し、変状スコアＳｔを算出する（ステップＡ７）。具体的には、すべてを統合する場合、変状スコア算出部４は、数３に示すように、画素ごとに、差分スコアＳｃ、反転スコアＳｒ、予測スコアＳｐそれぞれに重み係数ｗ１、ｗ２、ｗ３を乗算し、乗算した値を加算して変状スコアＳｔを算出する。重み係数ｗ１、ｗ２、ｗ３は、気象情報、観測情報に応じて、上述したスコアそれぞれを補正する。

出力情報生成部２６は、差分スコア、又は反転スコア、又は予測スコア、又は変状スコア、又は地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置２２へ出力するための出力情報を生成する（ステップＡ８）。出力情報生成部２６は、生成した出力情報を出力装置２２へ送信する（ステップＡ９）。

［本実施の形態の効果］
以上のように本実施の形態によれば、異なる画像解析処理を組み合わせて、画像解析処理ごとにスコアを算出し、算出したスコアに基づいて地形の変状を検出する。そのため、画像解析処理を用いて、自然災害の前兆となる、画像に撮像された地形の変状を精度よく検出することができる。その結果、誤検出を低減することができる。

また、本実施の形態においては、土石流だけでなく、崩落、落石、地滑り、陥没などの自然災害による地形の変状も、画像に撮像された地形の変状から検出できる。

なお、画像解析処理の組み合わせは、利用シーンに合わせて選択することが望ましい。その理由は、苦手分野を補完し合うような画像解析処理を組み合わせることで、地形の変状を更に精度よく検出できるからである。

更に、工事安全管理においては、工事箇所の地形変状（小崩落、落石など）を検出できるので、工事管理者に通報し、工事停止などの退避処置を行うことで、斜面変状に続いて起こる崩壊による二次災害を未然に防止できる。

渓流土砂供給監視においては、渓流へ不安定土砂が供給されたことを検出できるので、下流住民の避難や道路通行止めなどの処置を行うことで、土石流による被害を未然に防止できる。

地滑り頭部監視においては、地滑り頭部の変状（滑落領域の拡大など）を検出できるので、下流住民の避難や道路通行止めなどの処置を行うことで、地滑りによる被害を未然に防止できる。

線路上監視において、線路上への落石や崩壊を自動的に検出できるので、鉄道管理者に通報し、運航停止などの処置を行うことで、脱線などの事故を未然に防止できる。

道路上監視において、道路上への落石や崩壊、陥没などを自動的に検出できるので、道路管理者に通報し、通行止めなどの処置を行うことで、衝突、転落などの事故を未然に防止できる。

［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図１０に示すステップＡ１からＡ９、図１１に示すステップＢ１からＢ１１、図１２に示すステップＣ１からＣ１０を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における変状検出装置と変状検出方法とを実現することができる。この場合、コンピュータのプロセッサは、前処理部２３、差分スコア算出部２、反転スコア算出部３、予測スコア出力部２４、変状スコア算出部４、情報取得部２５、出力情報生成部２６として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、前処理部２３、差分スコア算出部２、反転スコア算出部３、予測スコア出力部２４、変状スコア算出部４、情報取得部２５、出力情報生成部２６のいずれかとして機能してもよい。

［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、変状検出装置１を実現するコンピュータについて図１３を用いて説明する。図１３は、変状検出装置を実現するコンピュータの一例を示すブロック図である。

図１３に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。

なお、本実施の形態における変状検出装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、変状検出装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

［付記］
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記２１）により表現することができるが、以下の記載に限定されるものではない。

（付記１）
あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出部と、
前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出部と、
前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、変状スコア算出部と、
を有することを特徴とする変状検出装置。

（付記２）
付記１に記載の変状検出装置であって、
前記入力画像を入力し、予測モデルを用いて、前記地形が変状したか否かを表す予測スコアを出力する、予測スコア出力部を有し、
前記変状スコア算出部は、前記差分スコアと前記反転スコアと前記予測スコアとを用いて、前記変状スコアを算出する
ことを特徴とする変状検出装置。

（付記３）
付記２に記載の変状検出装置であって、
前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、学習部を更に有する
ことを特徴とする変状検出装置。

（付記４）
付記２又は３に記載の変状検出装置であって、
前記変状スコア算出部は、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とする変状検出装置。

（付記５）
付記１から４のいずれか一つに記載の変状検出装置であって、
前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、前処理部
を有することを特徴とする変状検出装置。

（付記６）
付記５に記載の変状検出装置であって、
前記前処理部は、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理をする手段を更に有する、
ことを特徴とする変状検出装置。

（付記７）
付記２から４のいずれか一つに記載の変状検出装置であって、
前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、出力情報生成部
を有することを特徴とする変状検出装置。

（付記８）
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を有することを特徴とする変状検出方法。

（付記９）
付記８に記載の変状検出方法であって、
（ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力する、ステップを有し、
前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
ことを特徴とする変状検出方法。

（付記１０）
付記９に記載の変状検出方法であって、
（ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、ステップを有する
ことを特徴とする変状検出方法。

（付記１１）
付記９又は１０に記載の変状検出方法であって、
前記（ｃ）のステップにおいて、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とする変状検出方法。

（付記１２）
付記８から１１のいずれか一つに記載の変状検出方法であって、
（ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、ステップ
を有することを特徴とする変状検出方法。

（付記１３）
付記１２のいずれか一つに記載の変状検出方法であって、
前記（ｅ）のステップにおいて、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理を更に有する、
ことを特徴とする変状検出方法。

（付記１４）
付記９から１１のいずれか一つに記載の変状検出方法であって、
（ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、ステップ
を有することを特徴とする変状検出方法。

（付記１５）
コンピュータに、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を実行させる命令を含むプログラム。

（付記１６）
付記１５に記載のプログラムであって、
前記コンピュータに、
（ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力する、ステップを実行させ、
前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
ことを特徴とするプログラム。

（付記１７）
付記１６に記載のプログラムであって、
前記コンピュータに、
（ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、ステップを実行させる
ことを特徴とするプログラム。

（付記１８）
付記１６又は１７に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とするプログラム。

（付記１９）
付記１５から１８のいずれか一つに記載のプログラムであって、
（ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、ステップ
を実行させる命令を含むプログラム。

（付記２０）
付記１９に記載のプログラムであって、
前記（ｅ）のステップにおいて、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理を更に有する、
ことを特徴とするプログラム。

（付記２１）
付記１６から１８のいずれか一つに記載のプログラムであって、
（ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、ステップ
を実行させる命令を含むプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１８年１１月９日に出願された日本出願特願２０１８－２１１７７４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように本発明によれば、画像に撮像された地形の変状を精度よく検出することができる。本発明は、地形の変状を監視する分野において有用である。

１ 変状検出装置
２ 差分スコア算出部
３ 反転スコア算出部
４ 変状スコア算出部
２０ システム
２１ 撮像装置
２２ 出力装置
２３ 前処理部
２４ 予測スコア出力部
２５ 情報取得部
２６ 出力情報生成部
３１、３２、３３、３４ 背景画像
３５ 背景画像ヒストグラム集合
４１ 入力画像
４２ 画素値ヒストグラム
４３ 背景画像ヒストグラム
４４ 図４の画像
４５ 差分スコア情報
７１ 反転スコアモデル
８１ 図８の画像
８２ 反転スコア情報
９１ 学習部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (10)

1. あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出手段と、
   前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出手段と、
   前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、変状スコア算出手段と、
   を有することを特徴とする変状検出装置。
2. 請求項１に記載の変状検出装置であって、
   前記入力画像を入力し、予測モデルを用いて、前記地形が変状したか否かを表す予測スコアを出力する、予測スコア出力手段と、を有し、
   前記変状スコア算出手段は、前記差分スコアと前記反転スコアと前記予測スコアとを用いて、前記変状スコアを算出する
   ことを特徴とする変状検出装置。
3. 請求項２に記載の変状検出装置であって、
   前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、学習部を更に有する
   ことを特徴とする変状検出装置。
4. 請求項２又は３に記載の変状検出装置であって、
   前記変状スコア算出手段は、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
   ことを特徴とする変状検出装置。
5. 請求項１から４のいずれか一つに記載の変状検出装置であって、
   前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、前処理手段
   を有することを特徴とする変状検出装置。
6. 請求項５に記載の変状検出装置であって、
   前記前処理手段は、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理をする手段を更に有する、
   ことを特徴とする変状検出装置。
7. 請求項２から４のいずれか一つに記載の変状検出装置であって、
   前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、出力情報生成手段
   を有することを特徴とする変状検出装置。
8. （ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出し、
   （ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出し、
   （ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する
   ことを特徴とする変状検出方法。
9. 請求項８に記載の変状検出方法であって、
   （ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力し、
   前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
   ことを特徴とする変状検出方法。
10. コンピュータに、
    （ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
    （ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
    （ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
    を実行させるプログラム。
    

Images