JP6664557B2

JP6664557B2 - 変状検出装置

Info

Publication number: JP6664557B2
Application number: JP2019541566A
Authority: JP
Inventors: 百代日野; 夢雄王; 杉本　和夫; 和夫杉本; 三嶋　英俊; 英俊三嶋
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-09-14
Filing date: 2017-09-14
Publication date: 2020-03-13
Anticipated expiration: 2037-09-14
Also published as: US20200134384A1; WO2019053842A1; CN111052177A; JPWO2019053842A1

Description

この発明は、変状検出対象物に生じている変状の分類結果を取得する変状検出装置に関するものである。

近年、深層学習による画像の認識技術が進歩しており、トンネル又は路面などの変状検出対象物に生じている変状の点検作業に画像の認識技術が用いられることがある。
例えば、変状の点検作業に画像の認識技術を用いる変状検出装置は、変状が生じているトンネルの壁面のサンプル画像を示す画像データを大量に収集し、大量の画像データを学習データとして使用して、事前に深層学習モデルを構築する。
変状検出装置は、変状検出対象物であるトンネルの壁面の画像を示す画像データが与えられると、当該画像データと構築した深層学習モデルとを用いて、変状検出対象物に生じている変状の分類結果を取得する（例えば、特許文献１を参照）。

国際公開第２０１６／１８９７６４号

従来の変状検出装置は、トンネルの壁面に生じている変状の特徴を抽出し、特徴を学習することで、深層学習モデルを構築している。しかし、抽出している特徴は、変状の部分の特徴に限られており、変状の周囲の特徴は抽出されない。このため、変状の周囲の特徴は学習されず、変状の部分の特徴だけが学習される。したがって、変状の部分と特徴が近似している部分が画像内に存在している場合、特徴が近似している部分を誤って変状と検出してしまうことがあるという課題があった。
例えば、変状がコンクリート面のひびである場合、コンクリート面のひびと特徴が近似しているコンクリート面の接線部分、あるいは、コンクリート面における線状の落書きを、誤って変状と検出してしまうことがある。

この発明は上記のような課題を解決するためになされたもので、変状の部分と特徴が近似している部分が変状検出対象物の画像内に存在している場合でも、特徴が近似している部分を誤って変状と検出してしまう状況を回避することができる変状検出装置を得ることを目的とする。

この発明に係る変状検出装置は、変状の分類結果を出力する畳み込みニューラルネットワークの学習データとして、変状が含まれているサンプル画像を示す画像データを使用して、畳み込みニューラルネットワークの学習モデルを構築する学習モデル構築部と、変状検出対象物の画像を示す画像データを、学習モデル構築部により学習モデルが構築された畳み込みニューラルネットワークに与えることで、畳み込みニューラルネットワークから出力される変状の分類結果を取得する変状検出部とを備え、学習モデル構築部が、サンプル画像に含まれている変状が線形の変状であれば、長方形のカーネルを使用して、畳み込みニューラルネットワークからサンプル画像に含まれている変状の特徴を抽出し、サンプル画像に含まれている変状が面状の変状であれば、正方形のカーネルを使用して、畳み込みニューラルネットワークからサンプル画像に含まれている変状の特徴を抽出し、抽出した特徴を学習することで、畳み込みニューラルネットワークの学習モデルを調整するようにしたものである。

この発明によれば、学習モデル構築部が、サンプル画像に含まれている変状の形状に対応する形状のカーネルを使用して、畳み込みニューラルネットワークからサンプル画像に含まれている変状の特徴を抽出し、抽出した特徴を学習することで、畳み込みニューラルネットワークの学習モデルを調整するように構成したので、変状の部分と特徴が近似している部分が変状検出対象物の画像内に存在している場合でも、特徴が近似している部分を誤って変状と検出してしまう状況を回避することができる効果がある。

この発明の実施の形態１による変状検出装置を示す構成図である。この発明の実施の形態１による変状検出装置を示すハードウェア構成図である。変状検出装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。変状検出装置がソフトウェア又はファームウェアなどで実現される場合の学習時の処理手順を示すフローチャートである。変状検出装置がソフトウェア又はファームウェアなどで実現される場合の変状検出時の処理手順を示すフローチャートである。ＣＮＮの一例を示す説明図である。学習モデル構築部２により学習モデルが構築されるＣＮＮの前半部分の一例を示す説明図である。学習モデル構築部２により学習モデルが構築されるＣＮＮの後半部分の一例を示す説明図である。表示部５による変状の分類結果の表示例を示す説明図である。この発明の実施の形態２による変状検出装置を示す構成図である。この発明の実施の形態２による変状検出装置を示すハードウェア構成図である。表示部５による変状の分類結果及び分類結果修正部６が備えるユーザインタフェース６ａの表示例を示す説明図である。分類結果修正部６により調整が受け付けられた分類結果を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、この発明の実施の形態１による変状検出装置を示す構成図である。
図２は、この発明の実施の形態１による変状検出装置を示すハードウェア構成図である。
図１及び図２において、サンプル画像変形部１は、例えば、図２に示すサンプル画像変形回路２１で実現される。
サンプル画像変形部１は、データ保存部４から、変状の分類結果を出力する畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ）の学習データとして、変状が含まれているサンプル画像を示す画像データを入力する。
サンプル画像変形部１は、サンプル画像を変形することで、サンプル画像を示す画像データを増やす処理として、例えば、「ＤａｔａＡｕｇｍｅｎｔａｔｉｏｎ」と呼ばれる処理を実施し、入力したサンプル画像を示す画像データ及び変形後のサンプル画像を示す画像データのそれぞれをデータ保存部４に出力する。
「ＤａｔａＡｕｇｍｅｎｔａｔｉｏｎ」と呼ばれる処理は、画像データに含まれている変状の特徴を失わない範囲で、当該画像データを例えばアファイン変換、回転変換、照度調整又はコントラスト調整することで、多くのサンプル画像を示す画像データを得る処理である。

学習モデル構築部２は、例えば、図２に示す学習モデル構築回路２２で実現される。
学習モデル構築部２は、ＣＮＮの学習データとして、サンプル画像変形部１から出力されてデータ保存部４に保存されている複数の画像データを使用して、ＣＮＮの学習モデルを構築する処理を実施する。
また、学習モデル構築部２は、サンプル画像に含まれている変状の形状に対応する形状のカーネルを使用して、ＣＮＮからサンプル画像に含まれている変状の特徴を抽出し、抽出した特徴を学習することで、ＣＮＮの学習モデルを調整する処理を実施する。
学習モデル構築部２は、構築したＣＮＮの学習モデルをデータ保存部４に出力する。

変状検出部３は、例えば、図２に示す変状検出回路２３で実現される。
変状検出部３は、変状検出対象物の画像を示す画像データを、学習モデル構築部２から出力されてデータ保存部４に保存されているＣＮＮに与えることで、ＣＮＮから出力される変状の分類結果を取得する処理を実施する。
変状検出部３は、取得した変状の分類結果をデータ保存部４に出力する。

データ保存部４は、例えば、図２に示すデータ保存回路２４で実現される。
データ保存部４は、サンプル画像を示す画像データ、サンプル画像に含まれている変状の種類を示すラベル情報、学習モデル構築部２により構築されたＣＮＮの学習モデル、変状検出部３により取得された変状の分類結果、サンプル画像変形部１から出力されたサンプル画像を示す画像データなどを保存する。
表示部５は、例えば、図２に示す表示回路２５で実現される。
表示部５は、データ保存部４により保存されている変状の分類結果及び変状検出対象物の画像などを表示する処理を実施する。

図１では、変状検出装置の構成要素であるサンプル画像変形部１、学習モデル構築部２、変状検出部３、データ保存部４及び表示部５のそれぞれが、図２に示すような専用のハードウェアで実現されるものを想定している。即ち、サンプル画像変形回路２１、学習モデル構築回路２２、変状検出回路２３、データ保存回路２４及び表示回路２５で実現されるものを想定している。

ここで、データ保存回路２４は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）が該当する。
また、サンプル画像変形回路２１、学習モデル構築回路２２、変状検出回路２３及び表示回路２５は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、または、これらを組み合わせたものが該当する。

変状検出装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、変状検出装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）が該当する。

図３は、変状検出装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
変状検出装置がソフトウェア又はファームウェアなどで実現される場合、データ保存部４をコンピュータのメモリ３１上に構成するとともに、サンプル画像変形部１、学習モデル構築部２、変状検出部３及び表示部５の処理手順をコンピュータに実行させるためのプログラムをメモリ３１に格納し、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行するようにすればよい。
図４は、変状検出装置がソフトウェア又はファームウェアなどで実現される場合の学習時の処理手順を示すフローチャートである。
図５は、変状検出装置がソフトウェア又はファームウェアなどで実現される場合の変状検出時の処理手順を示すフローチャートである。

また、図２では、変状検出装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、変状検出装置がソフトウェアやファームウェアなどで実現される例を示しているが、変状検出装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。

次に動作について説明する。
この実施の形態１では、変状検出装置により検出される変状が、トンネルの壁面であるコンクリート面に生じる変状である例を説明する。
コンクリート面には、自然環境下での経年劣化によって、不規則な亀裂として、ひびが生じることがある。また、コンクリート面には、漏水の影響で、色が変化した箇所である変色箇所が生じることがある。
コンクリートの内部物質が析出物として、コンクリート面に現れることがある。
したがって、コンクリート面に生じる変状として、コンクリート面のひび、コンクリート面の変色及び析出物などが考えられる。
この実施の形態１では、トンネルの壁面に生じる変状を検出する例を説明するが、これに限るものではなく、例えば、ビルなどの一般的な建設物、あるいは、道路の路面に生じる変状を検出するものであってもよい。

最初に、ＣＮＮの学習モデルを構築する際の処理内容を説明する。
トンネルの壁面であるコンクリート面は、例えば、デジタルカメラにより撮影され、デジタルカメラの撮像データが、コンクリート面の画像を示す画像データとして、データ保存部４に保存される。
この実施の形態１では、コンクリート面の画像を示す画像データが、ＲＧＢデータであるものを想定するが、これに限るものではなく、例えば、奥行き情報を含むＲＧＢ−Ｄデータ又はＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ）点群データであってもよい。

データ保存部４により保存される画像データは、何らかの変状が生じているコンクリート面のサンプル画像を示すデータである。
この実施の形態１では、少なくとも、ひびが生じているコンクリート面のサンプル画像を示す画像データ、変色が生じているコンクリート面のサンプル画像を示す画像データ及び析出物が現れているコンクリート面のサンプル画像を示す画像データのそれぞれが、データ保存部４に保存される。
また、コンクリート面に生じている変状の種類を示すラベル情報が、サンプル画像を示す画像データと一緒にデータ保存部４に保存される。ラベル情報は、コンクリート面に生じている変状を識別したユーザによって事前に設定される情報である。
また、この実施の形態１では、説明の便宜上、画像サイズが４００×４００である正方形のサンプル画像の画像データがデータ保存部４に保存されるものとする。画像サイズとして示している４００×４００は、横方向及び縦方向の画素数を表している。以下、「〇〇×△△」という表記は、〇〇が横方向の画素数を表し、△△が縦方向の画素数を表しているものとする。
具体的には、サンプル画像を示す画像データがＲＧＢデータである場合、画像サイズが４００×４００のＲデータと、画像サイズが４００×４００のＧデータと、画像サイズが４００×４００のＢデータとがデータ保存部４に保存される。

サンプル画像変形部１は、データ保存部４により保存されているサンプル画像を示す画像データを取得する。
サンプル画像変形部１は、学習モデル構築部２における学習モデルの構築処理の高速化を図るため、取得したサンプル画像を示す画像データを分割する。例えば、画像サイズが４００×４００である正方形のサンプル画像の画像データを６４分割して、画像サイズが５０×５０のサンプル分割画像の画像データを得る。
サンプル画像変形部１がサンプル分割画像の画像データを得ることで、学習モデル構築部２では、画像サイズが小さいサンプル分割画像の画像データを扱うことができる。また、学習モデル構築部２では、６４個のサンプル分割画像の画像データを同時に並列処理することが可能になる。このため、学習モデル構築部２において、画像サイズが大きいサンプル画像を示す画像データを扱う場合よりも、学習モデルの構築処理の高速化を図ることができる。

サンプル画像変形部１は、各々のサンプル分割画像を変形することで、サンプル分割画像を示す画像データを増やす処理として、例えば、「ＤａｔａＡｕｇｍｅｎｔａｔｉｏｎ」と呼ばれる処理を実施する（図４のステップＳＴ１）。
サンプル画像変形部１は、取得した各々のサンプル分割画像を示す画像データ及び変形を加えた各々のサンプル分割画像を示す画像データのそれぞれをデータ保存部４に出力する。
サンプル画像を変形して、画像データを増やすことは、学習モデルの構築精度を高める上で有用であることは知られている。

学習モデル構築部２は、ＣＮＮの学習データとして、データ保存部４により保存されている複数のサンプル画像を示す画像データを取得する。
学習モデル構築部２は、取得した複数のサンプル画像を示す画像データを使用して、ＣＮＮの学習モデルを構築する（図４のステップＳＴ２）。
ＣＮＮの学習モデルを構築する処理自体は、公知の技術であるため、詳細な説明を省略する。

ここで、ＣＮＮについて簡単に説明する。
ＣＮＮは、変状の部分の特徴だけでなく、変状の周囲の特徴を抽出することができるようにするため、サンプル分割画像よりも小さいサイズのフィルタであるカーネルを利用して、サンプル分割画像に含まれている変状の特徴を抽出する層を含んでいるニューラルネットワークである。
図６は、ＣＮＮの一例を示す説明図である。
ＣＮＮは、図６に示すように、入力層、Ｃｏｎｖ層、Ｐｏｏｌｉｎｇ層、全結合層及び出力層などを備えている。

入力層は、サンプル分割画像の画像データを入力する層である。
Ｃｏｎｖ層は、カーネルの位置をサンプル分割画像の水平方向又は垂直方向に移動させながら、カーネルを利用して、サンプル分割画像から特徴をそれぞれ抽出し、それぞれ抽出した特徴の畳み込みを行う層である。
Ｐｏｏｌｉｎｇ層は、Ｃｏｎｖ層により畳み込みが行われた特徴の情報を圧縮する層である。
全結合層は、Ｐｏｏｌｉｎｇ層を通過してきた特徴を出力層における各々のノードに結合させる層である。
出力層は、サンプル分割画像に含まれている変状が、例えば、ひびである確率を示すノード、変色である確率を示すノード、析出物である確率を示すノード、変状ではない確率を示すノードを備える層である。

図７は、学習モデル構築部２により学習モデルが構築されるＣＮＮの前半部分の一例を示す説明図である。
図７において、ブロック名は、ＣＮＮが備える層を示し、出力サイズは、各々の層から出力されるデータのサイズを示し、ブロックタイプは、フィルタであるカーネルのサイズなどを示している。
図７に示すＣＮＮの前半部分は、ダウンサンプリング系のＣＮＮであり、コンクリート面のひびを変状として検出するために、線形変状に対応する長方形のカーネルとして、サイズが３×９のカーネルと、サイズが９×３のカーネルとを使用する例を示している。
線形変状に対応する長方形のカーネルは、線形変状の領域を含む線形変状の周囲の領域に受容野を得るための細長いフィルタであり、カーネルのサイズは、入力される画像データのサイズ及びＣＮＮの階層に基づいて計算される。カーネルのサイズを計算する処理自体は、公知の技術であるため詳細な説明を省略する。
ＣＮＮの処理が進行して、ＣＮＮの階層が変わるに従って受容野の範囲が広がる。

図中の矢印は、処理順序を表しており、Ｉｎｐｕｔは、画像データを入力する入力層である。
ＣｏｎｖＬａｙｅｒ１＿１は、入力層の後段に配置されている１番目のＣｏｎｖ層であり、出力サイズが４００×４００×１６である。
ＣｏｎｖＬａｙｅｒ１＿２は、ＣｏｎｖＬａｙｅｒ１＿１の後段に配置されている２番目のＣｏｎｖ層であり、出力サイズが４００×４００×１６である。
ＣｏｎｖＬａｙｅｒ１＿１及びＣｏｎｖＬａｙｅｒ１＿２は、サイズが３×９のカーネルとサイズが９×３のカーネルとを使用する。
（４）に示すＰｏｏｌｉｎｇは、ＣｏｎｖＬａｙｅｒ１＿２の後段に配置されている１番目のＰｏｏｌｉｎｇ層であり、２×２のカーネルを使用する。Ｐｏｏｌｉｎｇ層では、Ｃｏｎｖ層により畳み込みが行われた特徴の情報を圧縮しているため、出力サイズが２００×２００×１６に低減されている。

ＣｏｎｖＬａｙｅｒ２＿１は、１番目のＰｏｏｌｉｎｇ層の後段に配置されている３番目のＣｏｎｖ層であり、出力サイズが２００×２００×３２である。
ＣｏｎｖＬａｙｅｒ２＿２は、ＣｏｎｖＬａｙｅｒ２＿１の後段に配置されている４番目のＣｏｎｖ層であり、出力サイズが２００×２００×３２である。
ＣｏｎｖＬａｙｅｒ２＿１及びＣｏｎｖＬａｙｅｒ２＿２は、サイズが３×９のカーネルとサイズが９×３のカーネルとを使用する。
（７）に示すＰｏｏｌｉｎｇは、ＣｏｎｖＬａｙｅｒ２＿２の後段に配置されている２番目のＰｏｏｌｉｎｇ層であり、２×２のカーネルを使用する。Ｐｏｏｌｉｎｇ層では、Ｃｏｎｖ層により畳み込みが行われた特徴の情報を圧縮しているため、出力サイズが１００×１００×３２に低減されている。

ＣｏｎｖＬａｙｅｒ３＿１は、２番目のＰｏｏｌｉｎｇ層の後段に配置されている５番目のＣｏｎｖ層であり、出力サイズが１００×１００×６４である。
ＣｏｎｖＬａｙｅｒ３＿２は、ＣｏｎｖＬａｙｅｒ３＿１の後段に配置されている６番目のＣｏｎｖ層であり、出力サイズが１００×１００×６４である。
ＣｏｎｖＬａｙｅｒ３＿１及びＣｏｎｖＬａｙｅｒ３＿２は、サイズが３×９のカーネルとサイズが９×３のカーネルとを使用する。
（１０）に示すＰｏｏｌｉｎｇは、ＣｏｎｖＬａｙｅｒ３＿２の後段に配置されている３番目のＰｏｏｌｉｎｇ層であり、２×２のカーネルを使用する。Ｐｏｏｌｉｎｇ層では、Ｃｏｎｖ層により畳み込みが行われた特徴の情報を圧縮しているため、出力サイズが５０×５０×６４に低減されている。

ＣｏｎｖＬａｙｅｒ４＿１は、３番目のＰｏｏｌｉｎｇ層の後段に配置されている７番目のＣｏｎｖ層であり、出力サイズが５０×５０×１２８である。
ＣｏｎｖＬａｙｅｒ４＿２は、ＣｏｎｖＬａｙｅｒ４＿１の後段に配置されている８番目のＣｏｎｖ層であり、出力サイズが５０×５０×１２８である。
ＣｏｎｖＬａｙｅｒ４＿１及びＣｏｎｖＬａｙｅｒ４＿２は、サイズが３×９のカーネルとサイズが９×３のカーネルとを使用する。
（１３）に示すＰｏｏｌｉｎｇは、ＣｏｎｖＬａｙｅｒ４＿２の後段に配置されている４番目のＰｏｏｌｉｎｇ層であり、１×１のカーネルを使用する。Ｐｏｏｌｉｎｇ層では、Ｃｏｎｖ層により畳み込みが行われた特徴の情報を圧縮しているため、出力サイズが２５×２５×１２８に低減されている。
（１３）に示すＰｏｏｌｉｎｇの出力が、図８に示すＣＮＮの後半部分のＩｎｐｕｔに入力される。

図８は、学習モデル構築部２により学習モデルが構築されるＣＮＮの後半部分の一例を示す説明図である。
図８に示すＣＮＮの後半部分は、アップサンプリング系のＣＮＮであり、図７に示すＣＮＮの前半部分で抽出された特徴を統合するものである。図８では、ＣＮＮの階層が変わるに従って各層の出力サイズが大きくなっている。
図中の矢印は、処理順序を表しており、Ｉｎｐｕｔは、図７における（１３）に示すＰｏｏｌｉｎｇの出力を入力する入力層である。
（２２）に示すＵｐＳａｍｐｌｉｎｎｇは、入力層の出力を引き伸ばすために、入力層の後段に配置されている層であり、出力サイズが５０×５０×１２８に増加されている。
ＤｅｃｏｎｖＬａｙｅｒ１＿１は、（２２）に示すＵｐＳａｍｐｌｉｎｎｇの後段に配置されている層であり、ＤｅｃｏｎｖＬａｙｅｒ１＿２は、ＤｅｃｏｎｖＬａｙｅｒ１＿１の後段に配置されている層である。
ＤｅｃｏｎｖＬａｙｅｒ１＿１及びＤｅｃｏｎｖＬａｙｅｒ１＿２は、サイズが３×３のカーネルを使用して、逆畳み込みを行う層である。

（２５）に示すＵｐＳａｍｐｌｉｎｎｇは、ＤｅｃｏｎｖＬａｙｅｒ１＿２の出力を引き伸ばすために、ＤｅｃｏｎｖＬａｙｅｒ１＿２の後段に配置されている層であり、出力サイズが１００×１００×６４に増加されている。
ＤｅｃｏｎｖＬａｙｅｒ２＿１は、（２５）に示すＵｐＳａｍｐｌｉｎｎｇの後段に配置されている層であり、ＤｅｃｏｎｖＬａｙｅｒ２＿２は、ＤｅｃｏｎｖＬａｙｅｒ２＿１の後段に配置されている層である。
ＤｅｃｏｎｖＬａｙｅｒ２＿１及びＤｅｃｏｎｖＬａｙｅｒ２＿２は、サイズが３×３のカーネルを使用して、逆畳み込みを行う層である。
（２８）に示すＵｐＳａｍｐｌｉｎｎｇは、ＤｅｃｏｎｖＬａｙｅｒ２＿２の出力を引き伸ばすために、ＤｅｃｏｎｖＬａｙｅｒ２＿２の後段に配置されている層であり、出力サイズが２００×２００×３２に増加されている。
ＤｅｃｏｎｖＬａｙｅｒ３＿１は、（２８）に示すＵｐＳａｍｐｌｉｎｎｇの後段に配置されている層であり、ＤｅｃｏｎｖＬａｙｅｒ３＿２は、ＤｅｃｏｎｖＬａｙｅｒ３＿１の後段に配置されている層である。
ＤｅｃｏｎｖＬａｙｅｒ３＿１及びＤｅｃｏｎｖＬａｙｅｒ３＿２は、サイズが３×３のカーネルを使用して、逆畳み込みを行う層である。

（３１）に示すＵｐＳａｍｐｌｉｎｎｇは、ＤｅｃｏｎｖＬａｙｅｒ３＿２の出力を引き伸ばすために、ＤｅｃｏｎｖＬａｙｅｒ３＿２の後段に配置されている層であり、出力サイズが４００×４００×１６に増加されている。
ＤｅｃｏｎｖＬａｙｅｒ４＿１は、（３１）に示すＵｐＳａｍｐｌｉｎｎｇの後段に配置されている層である。
ＤｅｃｏｎｖＬａｙｅｒ４＿１は、サイズが３×３のカーネルを使用して、逆畳み込みを行う層である。
ＣｏｎｖＬａｙｅｒは、ＤｅｃｏｎｖＬａｙｅｒ４＿１の後段に配置されている層である。
ＣｏｎｖＬａｙｅｒは、サイズが３×３のカーネルを使用して、畳み込みを行う層である。
Ｓｏｆｔｍａｘは、ＣｏｎｖＬａｙｅｒの後段に配置されている出力層であり、コンクリート面のひびである確率と、コンクリート面のひびでない確率とを出力する。

学習モデル構築部２は、例えば、コンクリート面のひびを変状として検出するために、図７及び図８に示すようなＣＮＮの学習モデルを構築すると、図８に示すＣＮＮから出力されるコンクリート面のひびである確率が１．０（＝１００％）に近づくように、学習モデルを調整する。
具体的には、学習モデル構築部２は、図８に示すＣＮＮから出力されるコンクリート面のひびである確率と、事前に設定されている閾値とを比較する（図４のステップＳＴ３）。
学習モデル構築部２は、図８に示すＣＮＮから出力されるコンクリート面のひびである確率が閾値未満であれば（図４のステップＳＴ３：ＮＯの場合）、図８に示すＣＮＮから出力されるコンクリート面のひびである確率が１．０（＝１００％）に近づくように、学習モデルを調整する（図４のステップＳＴ４）。
学習モデル構築部２は、例えば、図７に示すようなＣＮＮにおけるＣｏｎｖＬａｙｅｒ１−１，１−２、ＣｏｎｖＬａｙｅｒ２−１，２−２、ＣｏｎｖＬａｙｅｒ３−１，３−２及びＣｏｎｖＬａｙｅｒ４−１，４−２が使用するカーネルのサイズを変更することで、学習モデルを調整する。

カーネルのサイズの変更方法としては、次のような方法が考えられる。
学習モデル構築部２は、データ保存部４により保存されているラベル情報を参照して、コンクリート面に生じている変状がコンクリート面のひびであることを認識する。
そして、学習モデル構築部２は、コンクリート面のひびである確率が１００％であることを示す１．０と、図８に示すＣＮＮから出力されるひびである確率との誤差を算出し、算出した誤差から、カーネルを変更する方向を示す勾配情報を算出する。
なお、誤差から勾配情報を算出する処理自体は、公知の技術であるため、詳細な説明を省略する。
学習モデル構築部２は、算出した勾配情報が示す方向にカーネルのサイズを変更する。カーネルのサイズの変更量は、固定の比率でもよいし、誤差から算出するようにしてもよい。

学習モデル構築部２は、学習モデルを調整すると、ステップＳＴ２の処理に戻り、調整後の学習モデル及び取得した複数のサンプル画像を示す画像データを使用して、ＣＮＮの学習モデルを再構築する。
学習モデル構築部２は、再構築後のＣＮＮから出力されるコンクリート面のひびである確率と、事前に設定されている閾値とを比較する（図４のステップＳＴ３）。
学習モデル構築部２は、再構築後のＣＮＮから出力されるコンクリート面のひびである確率が閾値未満であれば（図４のステップＳＴ３：ＮＯの場合）、再構築後のＣＮＮから出力されるコンクリート面のひびである確率が１．０（＝１００％）に近づくように、学習モデルを調整する（図４のステップＳＴ４）。
以下、コンクリート面のひびである確率が、閾値以上になるまで、ステップＳＴ２〜ＳＴ４の処理が繰り返し実施される。

学習モデル構築部２は、ＣＮＮから出力されるコンクリート面のひびである確率が、閾値以上であれば（図４のステップＳＴ３：ＹＥＳの場合）、学習モデルの調整を終了し、調整終了の学習モデルをデータ保存部４に出力する。
データ保存部４は、学習モデル構築部２から出力された学習モデルを保存する（図４のステップＳＴ５）。

ここでは、学習モデル構築部２が、変状である確率と閾値を比較し、変状である確率が閾値未満であるとき、学習モデルを調整する例を示している。
しかし、これに限るものではなく、例えば、学習モデル構築部２が、学習モデルの調整回数と事前に設定された回数を比較し、学習モデルの調整回数が設定回数未満であれば、誤差を算出し、算出した誤差から勾配情報を算出して、カーネルのサイズを変更するようにしてもよい。学習モデル構築部２は、学習モデルの調整回数が設定回数になれば、学習モデルの調整を終了する。

また、ここでは、コンクリート面のひびなどの線形の変状を検出するために、学習モデル構築部２が、長方形のカーネルを使用して、変状の特徴を抽出する例を示しているが、これに限るものではない。
コンクリート面の析出物又は変色などの面状の変状を検出する場合、学習モデル構築部２は、４×４のサイズ又は８×８のサイズなどの正方形のカーネルを使用して、変状の特徴を抽出するようにする。

次に、変状検出時の処理内容を説明する。
変状検出部３は、例えば、デジタルカメラが、トンネルの壁面であるコンクリート面を変状検出対象物として撮影すると、デジタルカメラの撮像データを、変状検出対象物の画像を示す画像データとして取得する（図５のステップＳＴ１１）。
変状検出部３は、取得した画像データが示す変状検出対象物の画像を分割する。
例えば、変状検出対象物の画像における分割画像は、サンプル画像変形部１により分割されたサンプル分割画像のサイズと同じになるように分割される。

変状検出部３は、データ保存部４により保存されているＣＮＮの学習モデルを取得する（図５のステップＳＴ１２）。
変状検出部３は、各々の分割画像を示す画像データを、取得したＣＮＮの学習モデルに与えることで、ＣＮＮから出力される変状の分類結果を取得し（図５のステップＳＴ１３）、変状の分類結果をデータ保存部４に出力する。
データ保存部４は、変状検出部３から出力された各々の分割画像のコンクリート面に生じている変状の分類結果を保存する（図５のステップＳＴ１４）。
ＣＮＮから出力される変状の分類結果は、例えば、分割画像のコンクリート面に生じている変状が、ひびである確率、変色である確率、析出物である確率、または、変状ではない確率を示している。

表示部５は、変状検出対象物の画像をディスプレイに表示する。
また、表示部５は、データ保存部４から変状の分類結果を取得し、図９に示すように、変状検出対象物の画像における分割画像毎に、当該分割画像のコンクリート面に生じている変状の分類結果を表示する（図５のステップＳＴ１５）。
図９は、表示部５による変状の分類結果の表示例を示す説明図である。
図９では、変状として、コンクリート面のひびと、コンクリート面の析出物とを例示している。

以上で明らかなように、この実施の形態１によれば、学習モデル構築部２が、サンプル画像に含まれている変状の形状に対応する形状のカーネルを使用して、畳み込みニューラルネットワークからサンプル画像に含まれている変状の特徴を抽出し、抽出した特徴を学習することで、畳み込みニューラルネットワークの学習モデルを構築するように構成したので、変状の部分と特徴が近似している部分が変状検出対象物の画像内に存在している場合でも、特徴が近似している部分を誤って変状と検出してしまう状況を回避することができる効果を奏する。

実施の形態２．
上記実施の形態１では、表示部５が、各々の分割画像のコンクリート面に生じている変状の分類結果を表示する例を示している。
この実施の形態２では、表示部５により表示されている変状の分類結果の修正を受け付ける分類結果修正部６を備えている例を説明する。

図１０は、この発明の実施の形態２による変状検出装置を示す構成図である。
図１１は、この発明の実施の形態２による変状検出装置を示すハードウェア構成図である。
図１０及び図１１において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
分類結果修正部６は、例えば、図１１に示す分類結果修正回路２６で実現される。
分類結果修正部６は、表示部５により表示されている変状の分類結果の修正を受け付ける処理を実施する。

図１０では、変状検出装置の構成要素であるサンプル画像変形部１、学習モデル構築部２、変状検出部３、データ保存部４、表示部５及び分類結果修正部６のそれぞれが、図１１に示すような専用のハードウェアで実現されるものを想定している。即ち、サンプル画像変形回路２１、学習モデル構築回路２２、変状検出回路２３、データ保存回路２４、表示回路２５及び分類結果修正回路２６で実現されるものを想定している。

ここで、サンプル画像変形回路２１、学習モデル構築回路２２、変状検出回路２３、表示回路２５及び分類結果修正回路２６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。
変状検出装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、変状検出装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。

変状検出装置がソフトウェア又はファームウェアなどで実現される場合、データ保存部４を図３に示すコンピュータのメモリ３１上に構成するとともに、サンプル画像変形部１、学習モデル構築部２、変状検出部３、表示部５及び分類結果修正部６の処理手順をコンピュータに実行させるためのプログラムをメモリ３１に格納し、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行するようにすればよい。
また、図１１では、変状検出装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、変状検出装置がソフトウェアやファームウェアなどで実現される例を示しているが、変状検出装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。

次に動作について説明する。
この実施の形態２では、上記実施の形態１と相違している部分のみを説明する。
表示部５は、図１２に示すように、各々の分割画像のコンクリート面に生じている変状の分類結果を表示する。
図１２は、表示部５による変状の分類結果及び分類結果修正部６が備えるユーザインタフェース６ａの表示例を示す説明図である。
図１２における右上の枠は、分類結果修正部６が備えるユーザインタフェース６ａであり、変状であるひび、漏水及び析出物の調整を受け付けるスライドバーである。
図１２に示すユーザインタフェース６ａは、グラフィカルユーザインタフェースであるが、分類結果修正部６は、マウス又はキーボードなどのユーザインタフェースも備えている。
図１２では、変状の凡例として、ひび、変色及び析出物を表しているが、図１２の例では、変色の箇所が存在していないため、変状が変色であることを示す分類結果が存在しない。

図１２の例では、６４個（＝８×８個）の分割画像を表示している。
図１２の例では、ユーザが、左から６番目及び上から２番目の分割画像（以下、（６，２）の分割画像と称する）についての変状の分類結果が間違っている判断し、分類結果修正部６が備えるマウスなどのユーザインタフェースを使用して、（６，２）の分割画像を指定している。
（６，２）の分割画像での分類結果は、コンクリート面に生じている変状が、ひびであることを示している。
しかし、実際には、（６，２）の分割画像のコンクリート面に生じている変状が、ひびではなく、析出物であれば、ユーザが、ひびに係るスライドバーと、析出物に係るスライドバーとを用いて、（６，２）の分割画像での分類結果を調整する。
図１３は、分類結果修正部６により調整が受け付けられた分類結果を示す説明図である。
図１３の例では、ユーザが、ひびに係るスライドバーにおける△の記号を左方向にスライドさせて、ひびである確率を下げ、析出物に係るスライドバーにおける△の記号を右方向にスライドさせて、析出物である確率を上げている。

分類結果修正部６は、ユーザによる分類結果の調整を受け付けて、修正後の分類結果をデータ保存部４に出力する。
データ保存部４は、分類結果修正部６から出力された修正後の分類結果を保存する。
学習モデル構築部２は、データ保存部４により保存されている修正後の分類結果を用いて、再度学習することで、ＣＮＮの学習モデルの精度を高めることができる。
修正後の分類結果を用いて、再度学習する処理自体は、公知の技術であるため、詳細な説明を省略する。

以上で明らかなように、この実施の形態２によれば、表示部５により表示されている変状の分類結果の修正を受け付ける分類結果修正部６を備えるように構成したので、上記実施の形態１よりも、ＣＮＮの学習モデルの精度を高めることができる効果を奏する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明は、変状検出対象物に生じている変状の分類結果を取得する変状検出装置に適している。

１サンプル画像変形部、２学習モデル構築部、３変状検出部、４データ保存部、５表示部、６分類結果修正部、６ａユーザインタフェース、２１サンプル画像変形回路、２２学習モデル構築回路、２３変状検出回路、２４データ保存回路、２５表示回路、２６分類結果修正回路、３１メモリ、３２プロセッサ。

Claims

変状の分類結果を出力する畳み込みニューラルネットワークの学習データとして、変状が含まれているサンプル画像を示す画像データを使用して、前記畳み込みニューラルネットワークの学習モデルを構築する学習モデル構築部と、
変状検出対象物の画像を示す画像データを、前記学習モデル構築部により学習モデルが構築された畳み込みニューラルネットワークに与えることで、前記畳み込みニューラルネットワークから出力される変状の分類結果を取得する変状検出部とを備え、
前記学習モデル構築部は、前記サンプル画像に含まれている変状が線形の変状であれば、長方形のカーネルを使用して、前記畳み込みニューラルネットワークから前記サンプル画像に含まれている変状の特徴を抽出し、前記サンプル画像に含まれている変状が面状の変状であれば、正方形のカーネルを使用して、前記畳み込みニューラルネットワークから前記サンプル画像に含まれている変状の特徴を抽出し、前記抽出した特徴を学習することで、前記畳み込みニューラルネットワークの学習モデルを調整することを特徴とする変状検出装置。
前記サンプル画像を変形するサンプル画像変形部を備え、
前記学習モデル構築部は、前記サンプル画像を示す画像データ及び前記サンプル画像変形部により変形されたサンプル画像を示す画像データのそれぞれを前記学習データとして使用することを特徴とする請求項１記載の変状検出装置。
前記変状検出部により取得された変状の分類結果と、前記変状検出対象物の画像とを表示する表示部を備えたことを特徴とする請求項１記載の変状検出装置。
前記表示部により表示されている変状の分類結果の修正を受け付ける分類結果修正部を備えたことを特徴とする請求項３記載の変状検出装置。