JP6942649B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

本技術分野の背景技術として、特開２０１１−３１６４３公報（特許文献１）がある。該公報には、鉄道架線設備を撮像するカメラ及び正常時の鉄道架線設備のデータを搭載している先行列車と、正常時の鉄道架線設備のデータを搭載している後行列車と、先行列車のカメラで撮像された画像を取り込み、この画像を処理するデータ処理部と、画像処理後、データを蓄積するデータ蓄積部と、画像処理されたデータと正常時の鉄道架線設備のデータとを比較し、異常の有無を検知された鉄道架線設備の異常検知箇所の詳細な調査を行うか否かを判断し、より詳細な調査が必要であると判定された場合、後行列車へ前記鉄道架線設備の異常検知箇所の詳細な調査指令を送信する無線送受信装置とを備え、調査指令に基づいて異常検知箇所の詳細な調査を後行列車において行い、鉄道架線設備の異常発生箇所を確定する状態監視システムが記載されている。

特開２０１１−３１６４３号公報

前述したように、状態判定用の画像処理装置の主な用途として、例えば、送電設備や鉄道設備等の目視点検を省力化するための保守支援システムがある。保守の省力化においては、作業員の目視による状態判定（正常／異常）の一部又は全部を機械によって代替するために、ドローンのような移動体にカメラを搭載し、移動体内又は移動体外に設けた解析装置を用いて状態を判定する方法がある。

しかし、前述した特許文献１では、カメラで撮影された鉄道架線設備のデータと正常時の鉄道架線設備のデータとを比較して異常の有無を検知するので、広範囲をカバーするためには、多量の正常時のデータを記憶するために大容量のストレージが必要となる。特に振動や設置スペースの制約が大きい移動体内への導入が困難な場合がある。

また、予め異常状態を学習させて異常を判定する場合、学習されていない種類の異常の検出は困難であり、予め設定されていない異常も判定する必要がある。

本発明は、移動体にも搭載可能で、予め設定されていない異常を判定できる状態判定のための画像処理装置及び画像処理方法の提供を目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、画像を用いて対象物の状態を判定する画像処理装置であって、移動体に搭載され、前記対象物が写された撮影画像を取得するカメラと、正常状態を学習した画像生成モデルを用いて、前記カメラが取得した撮影画像に基づいて正常な状態を示す正常状態画像を生成する画像生成部と、前記画像生成部が画像生成に用いた画像生成用パラメータを格納するパラメータ保持部と、前記対象物の状態を判定する判定部と、を備え、前記画像生成部は、前記パラメータ保持部から提供される画像生成用パラメータを用いて正常状態画像を生成し、前記判定部は、前記撮影画像と前記正常状態画像との類似度を算出し、前記算出された類似度が小さい場合に、前記対象物が異常であると判定する。

本発明の一態様によれば、記憶容量を抑制でき、予め設定されていない異常を判定できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

本発明の実施例１の送電設備保守支援システムによる送電線の保守を示す図である。 本発明の実施例１の撮影画像を示す図である。 本発明の実施例１の送電設備保守支援システムの全体構成を示す図である。 本発明の実施例１の画像生成部における画像生成を示す図である。 本発明の実施例１の送電設備保守支援システムによる処理のフローチャートである。 本発明の実施例２の鉄道保守支援システムによる鉄道設備の保守を示す図である。 本発明の実施例２の鉄道保守支援システムの全体構成を示す図である。 本発明の実施例３の送電設備保守支援システムの全体構成を示す図である。 本発明の実施例３の直前フレームの画像生成用パラメータを用いる方法の一例を示す図である。 本発明の実施例４の道路保守支援システムによる保守を示す図である。 本発明の実施例４の道路保守支援システムの全体構成を示す図である。 本発明の実施例５の送電設備保守支援システムの全体構成を説明する図である。 本発明の実施例６の鉄道保守支援システムの全体構成を示す図である。 本発明の実施例７の鉄道保守支援システムの全体構成を示す図である。

以下、本発明の実施例を図面を参照して説明する。以下の実施例では、本発明の画像処理装置の主なアプリケーションである送電設備保守支援システム、鉄道保守支援システム、道路保守支援システムについて説明する。

＜実施例１＞
実施例１の送電設備保守支援システムは、予め正常状態画像を学習させた生成モデルを用いて、カメラで撮影した画像から正常状態画像を生成し、撮影画像と生成画像との差異を評価することによって状態を判定する。

［送電設備保守支援システムによる送電線保守］
図１は、実施例１の送電設備保守支援システムによる送電線の保守を示す図である。実施例１における送電線保守支援システムは、移動体の一例である飛行体（ドローン）１−１に搭載したカメラ２が撮影した送電線の撮影画像Ｆ１０１を用いて、送電線の状態を判定する。

図２は、実施例１の撮影画像Ｆ１０１を示す図である。撮影画像Ｆ１０１に写っている送電線Ｆ２０１には傷Ｆ２０２が付く異常事象が生じている。実施例１の送電設備保守支援システムでは、このような事象を異常であると判定する。なお、検出される異常事象は祖電線の傷に限らず、正常状態から逸脱している状態が生じる様々な事象を検出対象に含めることができる。

［システム構成］
図３は、実施例１の送電設備保守支援システムの全体構成を示す図である。

実施例１の送電設備保守支援システムは、カメラ２、画像生成部３及び判定部４から構成される。なお、図３に示す構成では、移動体１（ドローン１−１）が、カメラ２、画像生成部３及び判定部４を有しているが、移動体１とは別に解析装置を設けてもよい。この場合、移動体１にカメラ２を搭載し、移動体１とは別に設けた解析装置が画像生成部３及び判定部４の機能を有し、該解析装置が、移動体１からネットワークや可搬型ストレージ等を経由して取得した撮影画像を用いて状態を判定してもよい。

画像生成部３及び判定部４などの機能ブロックは、所定のプログラムを実行するプロセッサと、プロセッサに接続された記憶デバイスとを有する演算部（図示省略）がプログラムを実行することによって実現される。なお、演算部の一部又は全部のロジックをハードウェア（例えば、ＦＰＧＡ）で構成してもよい。

記憶デバイスは、メモリと不揮発性記憶装置を含む。メモリは、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

不揮発性記憶装置は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ等からなる半導体記憶装置（ＳＳＤ）等の大容量の記憶装置によって構成されており、プロセッサが実行するプログラムや処理に必要なデータを格納する。

演算部が実行するプログラムは、ネットワーク又はリムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）を介して送電設備保守支援システムに提供され、非一時的記憶媒体である不揮発性の記憶デバイスに格納される。このため、送電設備保守支援システムは、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。

まず、カメラ２が、保守対象物（例えば、送電線）を撮影し、画像を取得する。画像生成部３は、撮影された画像を取得して、該画像に類似した正常状態を示す正常状態画像を生成する。判定部４は、撮影された画像と画像生成部３が生成した画像との類似度を算出する。判定部４による類似度の算出には、画素値の差分を用いてもよいし、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のような特徴抽出器によって抽出された特徴量ベクトルの差分を用いてもよいし、これらの複数の差分抽出方式を組み合わせてもよい。なお、判定部４は、類似度ではなく、撮影された画像と画像生成部３が生成した画像との非類似度を算出してもよい。そして、算出した類似度が設定された閾値以上である（又は、非類似度が設定された閾値以下である）場合は正常状態であると判定し、類似度が閾値より小さい（又は、非類似度が閾値を超えた）場合は異常状態であると判定する。判定部４が出力する判定結果は正常／異常の２値でなくても、複数の閾値を設けて段階的な判定結果を出力してもよい。

図４は、実施例１の画像生成部３における画像生成を示す図である。

画像生成部３は、例えばＤＮＮで構成された生成モデルＦ４０３を有する。生成モデルＦ４０３はパラメータＦ４０１−Ｎ（Ｎは整数）を入力として、生成画像Ｆ４０２−Ｎを生成する。ここで、パラメータＦ４０１−Ｎを様々に変化させることによって、多様な生成画像Ｆ４０２−Ｎを生成できる。生成モデルＦ４０３は、事前に収集した正常状態画像を用いて、パラメータと画像との関係を学習しておく。そして、本実施例の送電設備保守支援システムによって送電設備を監視するタイミングで、予め学習を完了した生成モデルＦ４０３を適用する。カメラ２が撮影画像Ｆ１０１を取得すると、画像生成部３は生成モデルＦ４０３が撮影画像Ｆ１０１に類似する画像を生成するためのパラメータＦ４０４を推定し、推定完了後に生成画像Ｆ４０５を生成する。ここで、生成モデルＦ４０３は正常状態画像を用いて学習しているため、送電線の位置や形状をおおよそ再現できるが、異常発生箇所Ｆ４０６の情報は正常状態画像に含まれていないため再現されない。すなわち、撮影画像Ｆ１０１が傷のない正常状態である場合、生成画像Ｆ４０５は撮影画像Ｆ１０１を忠実に再現する画像となり、判定部４が算出する類似度は高い値を示すが、撮影画像Ｆ１０１に異常発生箇所Ｆ４０６が含まれる場合、異常発生箇所Ｆ４０６に起因して類似度が低い値を示すため、判定部４は状態を判定できる。

［動作シーケンス］
図５は、実施例１の送電設備保守支援システムによる処理のフローチャートである。

送電設備保守支援システムは、起動後、ステップＳ５０１からＳ５０６のループ処理を開始する。まず、ステップＳ５０１で、送電設備保守支援システムの動作終了命令の有無を監視する。動作終了命令を検出すれば、処理を終了する。

一方、動作を継続する場合、ステップＳ５０２で、カメラ２が撮影画像Ｆ１０１を取得する。

その後、ステップＳ５０３で、画像生成部３は、生成画像Ｆ４０５が撮影画像Ｆ１０１に近づくように、生成画像Ｆ４０５を変化させながらパラメータＦ４０４を推定する。例えば、生成画像Ｆ４０５と撮影画像Ｆ１０１との間で画素値や特徴量などの差分が減少するように、反復的な探索をしてパラメータＦ４０４を推定する。

画像生成用パラメータ推定後、ステップＳ５０４で、判定部４は、撮影画像Ｆ１０１と生成画像Ｆ４０５の最終的な類似度を算出する。そして、ステップＳ５０５で、判定部４は、算出された類似度に基づいて状態判定結果を出力する。

以上に説明した処理によって、連続的に撮影された画像を連続的に処理する送電設備保守支援システムを実現できる。

以上に説明したように、実施例１では、予め正常状態画像を学習させた生成モデルを用い、移動体１に搭載したカメラ２で撮影した画像を用いて正常状態画像を生成し、撮影画像と生成画像との差異を評価して状態を判定することによって、予め正常状態画像を格納することなく異常を判定できる。すなわち、比較に用いる正常状態画像を予め格納しないので、記憶容量を抑制できる。また、予め設定されていない異常を判定できる。すなわち、予め異常状態を学習させることなく、対象物の異常を監視でき、設定されていない種類の異常を検出できる。

さらに、移動体に搭載したカメラ２が撮影した画像を用いて正常状態画像を生成するので、固定的に設置されたカメラより少ない数のカメラ２で広範囲の監視対象を連続的に監視できる。

＜実施例２＞
実施例２では、撮影画像から監視対象領域を抽出することによって、複数の監視対象の状態を並行して判定でき、監視対象以外の背景の変化が大きい画像を用いて、鉄道設備の状態を判定する鉄道保守支援システムについて説明する。

［対象領域を抽出する保守形態］
図６は、実施例２の鉄道保守支援システムによる鉄道設備の保守を示す図である。

実施例２における鉄道設備の保守では、移動体の一例である列車１−２の前面に搭載したカメラ２が撮影した撮影画像から、１以上の対象領域Ｆ６０１−Ｎ（Ｎは１以上の整数）を抽出し、各領域内において実施例１に記載された処理を実行して状態を判定する。図６に示す例では、架線領域及びレール領域を抽出する。例えば、架線領域では架線の断線を検知でき、レール領域ではレールの歪みを検知できる。監視対象の異常事象は、前述した例に限らず、正常状態から逸脱している状態であれば、様々な事象も検出対象に含めることができる。また、カメラ２の位置も図６に示す例に限らず、保守対象物の種類に応じて適切に設定するとよい。また、撮影画像から抽出される対象領域（監視対象物）の数も２に限らず、１や３以上でもよい。

［システム構成］
図７は、実施例２の鉄道保守支援システムの全体構成を示す図である。

実施例２の鉄道保守支援システムは、実施例１の送電設備保守支援システム（図３）に領域抽出部５を加え、画像生成部３、判定部４及び領域抽出部５を並列化して構成される。この構成により、監視対象領域毎に、正常状態画像を生成し、類似度を算出し、及び状態を判定できる。

領域抽出部５は、例えば、撮影画像内において予め設定された座標で定められる固定的な領域を抽出してもよい。この方法は、演算量が少なく、監視対象の位置変動が小さい場合に好適である。また、領域抽出部５は、エッジ検出等の画像認識技術を用いて架線やレールを認識して、認識された対象物を含む領域を抽出してもよい。この方法は、物体に動的に追従して対象領域を抽出するので、監視対象の位置変動が大きい場合に好適である。

以上に説明したように、実施例２では、撮影画像からの監視対象領域を抽出するので、監視対象以外（例えば背景）の変化が大きい場合にも監視対象の異常を適切に判定できる。すなわち、移動体の移動方向に延伸する監視対象（線路、架線など）は、監視対象自体の画像の変化は小さいが、移動体の移動に応じて背景が変わるので、監視対象の変化の検出が困難である。このため、変化が大きい背景を除去し、監視対象を含む監視対象領域抽出するので、的確に監視対象の異常を判定でき、鉄道保守支援システムに好適である。

また、撮影画像から複数の監視対象領域を抽出することによって、複数物体の状態を同時に判定できる。

また、監視対象に追従して監視対象領域を撮影画像から抽出するので、位置変動が大きい物体の状態を容易に判定できる。

さらに、監視対象が近い場合に、領域内における監視対象以外の変動要因が小さいため、画像生成部３で生成される正常状態画像の再現性を向上できる。

＜実施例３＞
実施例３では、時間的に近い過去の画像生成用パラメータを活用することによって、画像生成に要する時間を短縮し、リアルタイムに状態を判定する際の計算機リソースを低減する送電設備保守支援システムについて説明する。

［システム構成］
図８は、実施例３の送電設備保守支援システムの全体構成を示す図である。

実施例３の送電設備保守支援システムは、実施例１の送電設備保守支援システム（図３）にパラメータ保持部６及びフレーム制御部７を加えて構成される。画像生成部３における画像生成用パラメータの推定は、例えば、実施例１に記載したように、生成画像Ｆ４０５と撮影画像Ｆ１０１の画素値や特徴量等の差分が減少するように反復的に探索する方法がある。しかし、例えばランダムな値をパラメータの初期値として、各フレームで毎回探索する場合、画像サイズが大きい等の条件によっては、差分が収束するまでに時間がかかる場合がある。そこで、過去に推定した画像生成用パラメータを現在のパラメータ探索の初期値とすることで画像生成に要する時間を削減する。これは、時間的に近い過去の撮影画像（例えば、直前フレーム）と現在の撮影画像との間では画像の変化が小さい性質を利用したものである。

パラメータ保持部６は、前述したの画像生成用パラメータを保存するためのバッファを有する。画像生成部３は、パラメータ保持部６に画像生成用パラメータを入出力する。フレーム制御部７は、カメラ２による画像取得と連動し、パラメータ保持部６から画像生成部３に対する画像生成用パラメータの提供を指示する。例えば、直前フレームの画像生成用パラメータを現在の画像生成に用いる場合、フレーム制御部７はパラメータ保持部６に対して、１フレーム分タイミングを遅らせた画像生成用パラメータを画像生成部３に提供するように指示する。また、フレーム制御部７は、移動体の速度に応じて、何フレーム分タイミングを遅らせた画像生成用パラメータを取得するかを制御するとよい。

図９は、実施例３の直前フレームの画像生成用パラメータを用いる方法の一例を示す図である。

簡単のために、図９では画像生成用パラメータは２次元であるとする。現在の生成画像と撮影画像の差分の分布Ｆ９０１は、中心に向かうほど値が減少するような複数の曲線で表される。画像生成用パラメータの探索では、生成画像と撮影画像が最も類似する点、即ち差分の分布Ｆ９０１が最小値をとるパラメータを探索する。探索の終点パラメータＦ９０５は、差分が最小の点である。ランダムに選択した初期パラメータＦ９０２を始点として探索を行うと、差分の分布Ｆ９０１の勾配の方向や大きさに従ってステップを刻み、各ステップにおけるパラメータＦ９０３−Ｎ（Ｎは整数）を経由して終点パラメータＦ９０５に到達する。一方、連続するフレーム間では画像の変化が小さいため、差分の分布Ｆ９０１上で、直前フレームにおける探索の終点パラメータＦ９０４は、現在のフレームの終点パラメータＦ９０５に近い位置にある。このため、直前フレームにおける探索の終点パラメータＦ９０４を現在のフレームにおける始点パラメータとして探索することによって、より少ないステップ数で探索を完了できる。

なお、時間的に近い過去の画像生成用パラメータの使用は前述した方法に限定されず、例えば、始点パラメータと終点パラメータのパラメータ空間での距離差を予測して、次フレームの始点パラメータに前述の距離差をオフセットとして加算した後に探索を開始する方法を用いてもよい。

以上に説明したように、実施例３では、時間的に近い過去の画像生成用パラメータを活用することによって、現在における画像生成に要する時間を短縮し、リアルタイムに状態を判定できる。

また、フレーム制御部７を設けることによって、移動体の速度に応じて、画像生成用パラメータを取得する遅延時間を制御でき、画像生成用パラメータを的確に提供できる。

＜実施例４＞
実施例４の道路保守支援システムは、自動車（カメラ）からの距離が異なる複数の監視対象領域を抽出し、同一箇所の状態の判定回数を増やすことによって、判定精度を高める。また、過去の画像生成用パラメータを同一箇所における以降の画像生成に活用することによって、画像生成に必要な時間を短縮し、リアルタイムに状態を判定する。

［異なる距離の複数の監視対象領域を抽出する保守形態］
図１０は、実施例４の道路保守支援システムによる保守を示す図である。

実施例４の道路保守支援システムによる保守では、移動体の一例である自動車１−３の前面に搭載したカメラ２を用いて、例えば白線の掠れや道路の陥没などの異常事象を検知する。検出される異常事象は前述したもの限定されず、正常状態と異なる状態であれば、どのような事象も検出できる。また、カメラ２の位置も図１０に示す例に限定されず、保守対象物の種類の応じて適切に設置するとよい。

実施例４の道路保守支援システムによる保守では、自動車からの距離が異なる複数の対象領域Ｆ１００１−Ｎ（Ｎは１以上の整数）を設定する。このため、ある時刻において対象領域Ｆ１００１−１に写る道路は、自動車１−３の進行に伴い対象領域Ｆ１００１−２に写る。この繰り返しによって、同一箇所の道路の状態をＮ回判定でき、判定精度が高まる。また、Ｎ回の状態判定では、主に距離の違いによって対象領域内の画像の解像度は変化するものの、各対象領域に写る道路は同じであるため、画像生成用パラメータは類似する。すなわち、過去の画像生成用パラメータを同一箇所における以降の画像生成に用いることができ、例えば実施例３に記載したように、過去の画像生成用パラメータを始点パラメータとして探索することで、探索時間を短縮できる。なお、保守の対象領域数は、図示した３に限らず、２や４以上でもよい。

［システム構成］
図１１は、実施例４の道路保守支援システムの全体構成を示す図である。

実施例４の道路保守支援システムは、実施例２の鉄道保守支援システム（図７）にパラメータ保持部６及びフレーム制御部７を加えて構成される。パラメータ保持部６は、撮影画像のそれぞれの対象領域Ｆ１００１−Ｎにおける画像生成用パラメータを保存するためのバッファを有し、全ての画像生成部３と画像生成用パラメータを入出力する。フレーム制御部７は、カメラ２による画像取得と連動し、パラメータ保持部６から画像生成部３に対する画像生成用パラメータの提供を指示する。ここで、前述したような、過去の画像生成用パラメータを同一箇所における以降の画像生成に用いる場合、フレーム制御部７による指示の制御が重要である。状態を判定する対象領域に写った道路が近い対象領域に移動したという判定は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）で取得した位置情報や、自動車の速度情報灯などを用いて算出した自動車の移動量に基づいて行ってもよいし、各領域抽出部５が抽出した対象領域の画像を所定のフレーム数分保存しておき、過去と現在の対象領域画像同士のマッチング処理に基づいて行ってもよい。このため、実施例４の道路保守支援システムは、走行時にカメラ２が取得した撮影画像を記録する画像記録部１１を有するとよい。

領域抽出部５は、抽出した対象領域を所定の大きさ及び形状（例えば、長方形）に正規化して、各対象領域Ｆ１００１−１〜Ｎを比較するとよい。

以上に説明したように、実施例４では、自動車（カメラ２）からの距離が異なる複数の監視対象領域を撮影画像から抽出し、同一箇所の状態判定回数を増やすことによって判定精度を高めることができる。また、過去の画像生成用パラメータを同一箇所における以後の画像生成に用いることによって画像生成に必要な時間を短縮し、判定回数を増やしても、計算量の増加を抑制でき、リアルタイムに状態を判定できる。

また、画像マッチングを用いることによって、複数の監視対象領域で同じ画像が写されるので、画像生成に必要な計算量を減少できる。

また、フレーム制御部７を設けることによって、移動体の速度に応じて、画像生成用パラメータを取得する遅延時間を制御でき、画像生成用パラメータを的確に提供できる。

＜実施例５＞
実施例５の送電設備保守支援システムは、定義が可能な特定の異常事象に関して、当該の特定の異常事象の検知に特化した処理を並列に動作させて判定結果を統合することにより、判定精度を高める。

［システム構成］
図１２は、実施例５の送電設備保守支援システムの全体構成を説明する図である。

実施例５の送電設備保守支援システムは、実施例１の送電設備保守支援システム（図３）に特定事象検知部８及び判定結果統合部９を加えて構成される。特定事象検知部８は、カメラ２が撮影した画像から、予め定義が可能な特定の異常事象を検知する。判定結果統合部９は、判定部４が出力する判定結果と特定事象検知部８が出力する判定結果とを統合し、最終的な判定結果を出力する。判定結果の統合は、例えば、複数の判定結果の論理和を用いてもよい。特定事象検知部８は、例えば、送電線に付着することが多い飛来物（例えば、風船）を検知する機能を有する。このように、特定物を検知する特定事象検知部８を設けることによって、高精度で特定事象の発生を検知でき、判定部４が異常と判定しなかった場合でも、最終的に異常と判定できる。なお、特定事象検知部８の数は、図示した１に限らず複数でもよい。また、定義が可能であり高精度で異常を判定したい事象の数だけ並列に特定事象検知部８を設けるとよい。

以上に説明したように、実施例５では、定義が可能な特定の異常事象を検知する処理を並列に動作させ、複数の判定結果を統合することによって、正常状態画像との比較では見付かりにくい異常を的確に判定でき、総合的な判定精度を高められる。また、判定部４及び特定事象検知部８の一方が異常と判定すると、判定結果統合部９が対象物の異常を判定するので、様々な異常を高速で判定できる。

＜実施例６＞
実施例６の鉄道保守支援システムは、走行時に状態を判定しながら、状態判定に使用する撮影画像と生成画像との類似度を撮影画像と共に記録して、判定部４が用いる閾値を好適に設定する。

［閾値の設定方法］
実施例１に記載したように、判定部４は、例えば、撮影画像と生成画像との類似度が所定の閾値以上である場合は正常状態と判定し、所定の閾値より小さい場合は異常状態と判定する。このため、閾値の設定によって状態判定の性能が変わる。一般に、異常状態は発生頻度が低いため、実際の走行線区で異常状態のデータを取得するのは難しい。そこで、例えば、実験によって異常状態を再現した撮影画像と、正常状態の撮影画像とを取得し、画像生成部３が生成した生成画像と撮影画像群との類似度を算出し、異常状態の複数の撮影画像における平均的な類似度と、正常状態の複数の撮影画像における平均的な類似度との間に閾値を設定してもよい。しかし、実施例６の鉄道保守支援システムの運用中、実際の走行線区において異常状態が存在した場合、これを検知できるように判定部４の閾値及び画像生成部３を更新するとよい。

［システム構成］
図１３は、実施例６の鉄道保守支援システムの全体構成を示す図である。

実施例６の鉄道保守支援システムでは、実施例１の鉄道保守支援システム（図３）に、類似度記録部１０及び画像記録部１１を加えて構成される。類似度記録部１０は、走行時に判定部４が状態判定に用いるための、撮影画像と生成画像との類似度を記録する。画像記録部１１は、走行時にカメラ２が取得した撮影画像を記録する。類似度記録部１０と画像記録部１１とは時刻が同期しており、類似度記録部１０が記録する類似度と画像記録部１１が記録する撮影画像とは、同一時刻における撮影画像と類似度とが関連付けて記録される。

そして、実施例６の鉄道保守支援システムの運用開始後、管理者は類似度記録部１０に記録された類似度の時系列データを確認し、もし特異な変化をする箇所（例えば、被覆が破損しており導体が露出している電線）を発見した場合、画像記録部１１に記録された同時刻における撮影画像を確認する。撮影画像の確認によって異常状態であると判断した場合、当該時刻の類似度が異常状態と判定されるように閾値を調整する。これによって、今後同様の事象が発生した場合に異常と判定できる。

さらに、例えば、新たに設定された閾値より類似度が大きい時刻の撮影画像を正常状態と判定し、画像記録部１１に記録された撮影画像を追加学習して、画像生成部３の生成モデルＦ４０３を更新することによって、画像生成部３が生成する生成画像の多様性を向上できる。なお、例えば、移動平均を算出し、移動平均との差分が大きい箇所を自動的に抽出するアルゴリズムを用いて、類似度記録部１０に記録された類似度の時系列データを自動的に確認してもよいし、運用者による確認と併用して半自動的に確認してもよい。

以上に説明したように、実施例６では走行時に状態を判定しながら、撮影画像と生成画像間の類似度と撮影画像とを記録するので、実際に取得されたデータに従って、判定部４が用いる閾値を好適に設定できる。

＜実施例７＞
実施例７の鉄道保守支援システムは、走行時に状態を判定しながら、画像以外から取得した状態情報を記録して、判定部４が用いる閾値を好適に設定する。

［システム構成］
図１４は、実施例７の鉄道保守支援システムの全体構成を示す図である。

実施例７の鉄道保守支援システムは、実施例６の鉄道保守支援システム（図１３）に状態情報記録部１２を加えて構成される。状態情報記録部１２は、例えば、移動体１に搭載された移動体の状態を検知するセンサによって取得した、画像以外の状態情報（例えば、加速度センサが計測した振動、ジャイロセンサが計測した傾き）の時系列データを記録する。

また、実施例７の鉄道保守支援システムでは、実施例６と同様に、類似度記録部１０と画像記録部１１と状態情報記録部１２とは時刻の同期しており、類似度記録部１０が記録する類似度と、画像記録部１１が記録する撮影画像と、状態情報記録部１２が記録する状態情報とは、同一時刻における類似度と撮影画像と状態情報とが関連付けて記録される。

例えば、実施例７の鉄道保守支援システムが、レールの異常状態（例えば、歪み）を検知する場合、状態情報記録部１２に記録された特異な振動や傾きのデータに対応して類似度及び撮影画像を特定できる。そして、特定された類似度を用いて判定部４の閾値を調整したり、特定された撮影画像を運用者が確認して、判定部４の閾値を調整したり、他の時刻の撮影画像を用いて画像生成部３内の生成モデルＦ４０３の追加学習できる。

なお、状態情報記録部１２が記録する状態情報は、加速度センサが計測した振動やジャイロセンサが計測したい傾きに限らず、例えば、移動体１のブレーキ（特に、非常ブレーキ）等の制御情報を用いてもよい。

以上に説明したように、実施例７では、走行時に状態を判定しながら、画像以外から取得した状態情報を記録して、判定部４が用いる閾値を好適に設定できる。

前述した実施例では、カメラ２を搭載する移動体の例としてドローン１−１、列車１−２、自動車１−３について説明したが、カメラ２は他の移動体に搭載してもよい。例えば、カメラ２は、人間（例えば、頭部）に装着してもよく、この場合、人間の視線検出に基づいて対象領域を抽出すると、本発明を行動認識支援システムに適用して、作業ミスや運転中の危険行為を判定できる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

１−１・・・・・・移動体の一例（ドローン）
１−２・・・・・・移動体の一例（列車）
１−３・・・・・・移動体の一例（自動車）
２・・・・・・・・カメラ
３・・・・・・・・画像生成部
４・・・・・・・・判定部
５・・・・・・・・領域抽出部
６・・・・・・・・パラメータ保持部
７・・・・・・・・フレーム制御部
８・・・・・・・・特定事象検知部
９・・・・・・・・判定結果統合部
１０・・・・・・・類似度記録部
１１・・・・・・・画像記録部
１２・・・・・・・状態情報記録部

Claims (11)

1. 画像を用いて対象物の状態を判定する画像処理装置であって、
   移動体に搭載され、前記対象物が写された撮影画像を取得するカメラと、
   正常状態を学習した画像生成モデルを用いて、前記カメラが取得した撮影画像に基づいて正常な状態を示す正常状態画像を生成する画像生成部と、
   前記画像生成部が画像生成に用いた画像生成用パラメータを格納するパラメータ保持部と、
   前記対象物の状態を判定する判定部と、を備え、
   前記画像生成部は、前記パラメータ保持部から提供される画像生成用パラメータを用いて正常状態画像を生成し、
   前記判定部は、前記撮影画像と前記正常状態画像との類似度を算出し、前記算出された類似度が小さい場合に、前記対象物が異常であると判定することを特徴とする画像処理装置。
2. 画像を用いて対象物の状態を判定する画像処理装置であって、
   移動体に搭載され、前記対象物が写された撮影画像を取得するカメラと、
   前記撮影画像から前記対象物が含まれる複数の対象領域を抽出する領域抽出部と、
   正常状態を学習した画像生成モデルを用いて、前記カメラが取得した撮影画像に基づいて正常な状態を示す正常状態画像を生成する画像生成部と、
   前記画像生成部が画像の生成に用いた画像生成用パラメータを格納するパラメータ保持部と、
   前記対象物の状態を判定する判定部と、を備え、
   前記画像生成部は、前記対象物の同一箇所が写された正常状態画像を生成した際の画像生成用パラメータを用いて正常状態画像を生成し、
   前記判定部は、前記撮影画像と前記正常状態画像との類似度を算出し、前記算出された類似度が小さい場合に、前記対象物が異常であると判定し、前記複数の対象領域の各々において、前記対象物の同一箇所の状態を判定することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記カメラによる画像取得と連動し、前記対象物の同一箇所が写された正常状態画像を生成した際の画像生成用パラメータの前記パラメータ保持部から前記画像生成部への提供を制御するフレーム制御部を備え、
   前記画像生成部は、前記フレーム制御部の制御によって提供される画像生成用パラメータを用いて正常状態画像を生成することを特徴とする画像処理装置。
4. 請求項１又は２に記載の画像処理装置であって、
   前記撮影画像から前記対象物が含まれる１以上の対象領域を抽出する領域抽出部を備え、
   前記画像生成部は、前記対象領域毎に正常状態画像を生成し、
   前記判定部は、前記対象領域毎に前記対象物の状態を判定することを特徴とする画像処理装置。
5. 請求項１又は２に記載の画像処理装置であって、
   前記カメラによる画像取得と連動し、前記パラメータ保持部から前記画像生成部への画像生成用パラメータの提供を制御するフレーム制御部を備え、
   前記画像生成部は、前記フレーム制御部の制御によって提供される画像生成用パラメータを用いて正常状態画像を生成することを特徴とする画像処理装置。
6. 請求項１又は２に記載の画像処理装置であって、
   前記カメラが取得した撮影画像から、定義された特定の事象を検知する特定事象検知部と、
   前記判定部が出力する判定結果と前記特定事象検知部が出力する判定結果とを統合する判定結果統合部と、を備えることを特徴とする画像処理装置。
7. 請求項１又は２に記載の画像処理装置であって、
   前記判定部が状態判定に使用する類似度を記録する類似度記録部と、
   前記カメラが取得した撮影画像を記録する画像記録部と、を備え、
   前記類似度と前記撮影画像とは、時刻によって関連付けられて記録されることを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   画像以外を用いて取得した状態情報を記録する状態情報記録部を備え、
   前記類似度と前記撮影画像と前記状態情報とは、時刻によって関連付けられて記録されることを特徴とする画像処理装置。
9. 請求項１又は２に記載の画像処理装置であって、
   前記移動体は、飛行体、鉄道車両及び自動車のいずれかであることを特徴とする画像処理装置。
10. 画像を用いて対象物の状態を判定する画像処理装置が実行する画像処理方法であって、
    前記画像処理装置は、所定の手順で処理を実行する演算デバイスと、前記演算デバイスに接続された記憶デバイスとを有し、
    移動体に搭載されたカメラによって前記対象物が写された撮影画像を取得する撮影画像取得ステップと、
    正常状態を学習した画像生成モデルを用いて、前記カメラが取得した撮影画像に基づいて正常な状態を示す正常状態画像を生成する画像生成ステップと、
    前記画像の生成に用いた画像生成用パラメータを格納する格納ステップと、
    前記対象物の状態を判定する判定ステップと、を備え、
    前記画像生成ステップでは、前記格納された画像生成用パラメータを用いて正常状態画像を生成し、
    前記判定ステップでは、前記撮影画像と前記正常状態画像との類似度を算出し、前記算出された類似度が小さい場合に、前記対象物が異常であると判定することを特徴とする画像処理方法。
11. 画像を用いて対象物の状態を判定する画像処理装置が実行する画像処理方法であって、
    前記画像処理装置は、所定の手順で処理を実行する演算デバイスと、前記演算デバイスに接続された記憶デバイスとを有し、
    移動体に搭載されたカメラによって前記対象物が写された撮影画像を取得する撮影画像取得ステップと、
    前記撮影画像から前記対象物が含まれる複数の対象領域を抽出する領域抽出ステップと、
    正常状態を学習した画像生成モデルを用いて、前記カメラが取得した撮影画像に基づいて正常な状態を示す正常状態画像を生成する画像生成ステップと、
    前記画像の生成に用いた画像生成用パラメータを格納する格納ステップと、
    前記対象物の状態を判定する判定ステップと、を備え、
    前記画像生成ステップでは、前記対象物の同一箇所が写された正常状態画像を生成した際の画像生成用パラメータを用いて正常状態画像を生成し、
    前記判定ステップでは、前記撮影画像と前記正常状態画像との類似度を算出し、前記算出された類似度が小さい場合に、前記対象物が異常であると判定し、前記複数の対象領域の各々において、前記対象物の同一箇所の状態を判定することを特徴とする画像処理方法。

Images