JP6031490B2 - 摩耗推定装置、摩耗推定器学習装置、画像特徴選択装置、方法、及びプログラム - Google Patents

Description

本発明は、摩耗推定装置、摩耗推定器学習装置、画像特徴選択装置、方法、及びプログラムに係り、特に、画像に写る凹凸模様を持つ物体表面の摩耗を推定するための摩耗推定装置、摩耗推定器学習装置、画像特徴選択装置、方法、及びプログラムに関する。

金属製の床や階段などには、滑り止めのために凹凸模様を設けることが一般的である。しかし、こうした滑り止めのための凹凸模様は経年劣化によって日々摩耗が進み、いずれスリップ事故などを引き起こす可能性がある。そうした事故を未然に防ぐためには、凹凸模様の摩耗度を点検し適宜交換する必要がある。しかし、人手によって逐一摩耗度の点検を行うことは多大な労力を要する。

点検作業を効率的に行うための手段として、カメラ画像を用いたコンピュータによる自動点検が考えられる。従来方法として、カメラ画像によって自動的にコンクリート表面の劣化検知を行う方法がある（非特許文献１）。また、カメラから路面の凹凸深さの推定を行う方法もある（非特許文献２）。

H. Oliveira, P. Correia "Automatic road crack detection and characterization" Intelligent Transportation Systems, IEEE Transactions on, vol.14, no.1, pp.155-168, 2013 R. Elunai, V. Chandran, E. Gallagher, "Asphalt concrete surfaces macrotexture determination from still images" Intelligent Transportation Systems, IEEE Transactions on , vol.12, no.3, pp.857-869, 2011

しかし、非特許文献１に記載の方法では、カメラ画像による点検によって作業者の点検コストを減らし、簡易で網羅的な点検を実現できるが、非特許文献１に記載のひび割れ検知のアプローチは画像中の細線領域をひび割れとして検知するため、そのまま摩耗検知に適用することは難しいという問題がある。

また、非特許文献２に記載の方法では、画像内の境界線量を用いることで凹凸量の推定を行っているが、当該手法では照明条件や撮影環境の変化に強く影響を受け、また凹凸自体は残っていてもエッジ部分がなまってしまっている場合に境界線情報と凹凸量との相関が弱まるなどの問題がある。

また、非特許文献２に記載の方法では、撮影場所によって凹凸量推定のための最適なパラメータが異なっており、撮影対象や撮影時間、天候の変化による対象物の見えの変化によって推定精度が強く影響を受けることがわかる。屋外での摩耗検知の適用を考えると、こうした環境変化に対して頑健に精度良く摩耗を検知することが課題となる。すなわち、照明環境や撮影角度といった様々な環境変化のなかで、凹凸模様の高さを示す要素を精度良く抽出することが課題となる。

本発明では、上記問題点を解決するために成されたものであり、推定対象物の摩耗度を精度よく推定することができる摩耗推定装置、方法、及びプログラムを提供することを目的とする。

また、推定対象物の摩耗度を精度よく推定するための摩耗推定器のパラメータを学習することができる摩耗推定器学習装置、方法、及びプログラムを提供することを目的とする。

また、推定対象物の摩耗度を精度よく推定するためのパターンを抽出することができる画像特徴選択装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る摩耗度推定装置は、入力された、推定対象物を表す画像内の予め定められたサイズのパッチ画像毎に、前記パッチ画像に含まれる画素の各々について取得される、第５の発明の画像特徴選択装置によって抽出された、前記凹凸の摩耗度と関連する局所的なテクスチャパターンの頻度を表す特徴ヒストグラムと、前記パッチ画像に含まれる画素の各々について取得される、前記パッチ画像の画素の輝度値の平均値及び標準偏差を用いて正規化した輝度値から算出される正規化明度ヒストグラムとを、前記パッチ画像の画像特徴として抽出する画像特徴抽出部と、前記パッチ画像の各々について、前記画像特徴抽出部により抽出された、前記パッチ画像の画像特徴と、予め学習された、凹凸の摩耗度を推定するための摩耗度推定器のパラメータと、に基づいて、前記パッチ画像に対応する部分の摩耗度を推定する局所摩耗度推定部と、を含んで構成されている。

第２の発明に係る摩耗度推定方法は、画像特徴抽出部と、局所摩耗度推定部と、を含む摩耗度推定装置における摩耗度推定方法であって、前記画像特徴抽出部は、入力された、推定対象物を表す画像内の予め定められたサイズのパッチ画像毎に、前記パッチ画像に含まれる画素の各々について取得される、第６の発明の画像特徴選択方法によって抽出された、前記凹凸の摩耗度と関連する局所的なテクスチャパターンの頻度を表す特徴ヒストグラムと、前記パッチ画像に含まれる画素の各々について取得される、前記パッチ画像の画素の輝度値の平均値及び標準偏差を用いて正規化した輝度値から算出される正規化明度ヒストグラムとを、前記パッチ画像の画像特徴として抽出し、前記局所摩耗度推定部は、前記パッチ画像の各々について、前記画像特徴抽出部により抽出された、前記パッチ画像の画像特徴と、予め学習された、凹凸の摩耗度を推定するための摩耗度推定器のパラメータと、に基づいて、前記パッチ画像に対応する部分の摩耗度を推定する。

第１及び第２の発明によれば、画像特徴抽出部により、入力された、推定対象物を表す画像内の予め定められたサイズのパッチ画像毎に、パッチ画像に含まれる画素の各々について取得される、予め定められた凹凸の摩耗度と関連する局所的なテクスチャパターンと、パッチ画像に含まれる画素の各々について取得される正規化した輝度値から算出される正規化明度ヒストグラムとを、パッチ画像の画像特徴として抽出し、局所摩耗度推定部により、パッチ画像の各々について、画像特徴抽出部により抽出された、パッチ画像の画像特徴と、予め学習された、凹凸の摩耗度を推定するための摩耗度推定器のパラメータと、に基づいて、パッチ画像に対応する部分の摩耗度を推定する。

このように、入力された、推定対象物を表す画像内のパッチ画像毎に、予め定められた凹凸の摩耗度と関連する局所的なテクスチャパターンと、正規化明度ヒストグラムとを、パッチ画像の画像特徴として抽出し、パッチ画像の各々について、パッチ画像の画像特徴と、予め学習された、凹凸の摩耗度を推定するための摩耗度推定器のパラメータと、に基づいて、パッチ画像に対応する部分の摩耗度を推定することにより、精度よく摩耗度を推定することができる。

第３の発明に係る摩耗度推定器学習装置は、入力された、推定対象物を表す画像内の予め定められたサイズのパッチ画像であって、かつ、凹凸の摩耗度が予め付与されたパッチ画像毎に、前記パッチ画像に含まれる画素の各々について取得される、第５の発明の画像特徴選択装置によって抽出された、前記凹凸の摩耗度と関連する局所的なテクスチャパターンの頻度を表す特徴ヒストグラムと、前記パッチ画像に含まれる画素の各々について取得される、前記パッチ画像の画素の輝度値の平均値及び標準偏差を用いて正規化した輝度値から算出される正規化明度ヒストグラムとを、前記パッチ画像の画像特徴として抽出する画像特徴抽出部と、前記画像特徴抽出部により抽出された前記パッチ画像の各々についての画像特徴と、前記パッチ画像に付与された凹凸の摩耗度との組み合わせを、凹凸の摩耗度を推定するための摩耗度推定器のパラメータとして記憶する摩耗度推定器学習部と、を含んで構成されている。

第４の発明に係る摩耗度推定器学習方法は、画像特徴抽出部と、摩耗度推定器学習部と、を含む摩耗度推定器学習装置における摩耗度推定器学習方法であって、前記画像特徴抽出部は、入力された、推定対象物を表す画像内の予め定められたサイズのパッチ画像であって、かつ、凹凸の摩耗度が予め付与されたパッチ画像毎に、前記パッチ画像に含まれる画素の各々について取得される、第６の発明の画像特徴選択方法によって抽出された、前記凹凸の摩耗度と関連する局所的なテクスチャパターンの頻度を表す特徴ヒストグラムと、前記パッチ画像に含まれる画素の各々について取得される、前記パッチ画像の画素の輝度値の平均値及び標準偏差を用いて正規化した輝度値から算出される正規化明度ヒストグラムとを、前記パッチ画像の画像特徴として抽出し、前記摩耗度推定器学習部は、前記画像特徴抽出部により抽出された前記パッチ画像の各々についての画像特徴と、前記パッチ画像に付与された凹凸の摩耗度との組み合わせを、凹凸の摩耗度を推定するための摩耗度推定器のパラメータとして記憶する。

第３及び第４の発明によれば、画像特徴抽出部により、入力された、推定対象物を表す画像内の予め定められたサイズのパッチ画像であって、かつ、凹凸の摩耗度が予め付与されたパッチ画像毎に、パッチ画像に含まれる画素の各々について取得される、予め定められた凹凸の摩耗度と関連する局所的なテクスチャパターンと、パッチ画像に含まれる画素の各々について取得される正規化した輝度値から算出される正規化明度ヒストグラムとを、パッチ画像の画像特徴として抽出し、摩耗度推定器学習部により、画像特徴抽出部により抽出されたパッチ画像の各々についての画像特徴と、パッチ画像に付与された凹凸の摩耗度との組み合わせを、凹凸の摩耗度を推定するための摩耗度推定器のパラメータとして記憶する

このように、入力された、推定対象物を表す画像内のパッチ画像であって、かつ、凹凸の摩耗度が予め付与されたパッチ画像毎に、局所的なテクスチャパターンと、正規化明度ヒストグラムとを、パッチ画像の画像特徴として抽出し、パッチ画像の各々についての画像特徴と、パッチ画像に付与された凹凸の摩耗度との組み合わせを、凹凸の摩耗度を推定するための摩耗度推定器のパラメータとして記憶することにより、精度よく摩耗度を推定することができるパラメータを学習することができる。

第５の発明に係る画像特徴選択装置は、入力された、凹凸の摩耗度が予め付与され、かつ、推定対象物を表す複数の画像に対し、前記画像に含まれる画素の各々について局所的なテクスチャパターンを抽出するテクスチャ特徴抽出部と、前記複数の画像に対し、前記テクスチャ特徴抽出部において前記画像から抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を支配的特徴セットとして抽出する支配的特徴抽出部と、前記凹凸の摩耗度が近傍となる画像集合の各々に対し、前記画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、凹凸の摩耗度と関連する前記局所的なテクスチャパターンとして抽出する選択特徴統合部と、を含んで構成されている。

第６の発明の係る画像特徴選択方法は、テクスチャ特徴抽出部と、支配的特徴抽出部と、選択特徴統合部と、を含む画像特徴選択装置における画像特徴選択方法であって、前記テクスチャ特徴抽出部は、入力された、凹凸の摩耗度が予め付与され、かつ、推定対象物を表す複数の画像に対し、前記画像に含まれる画素の各々について局所的なテクスチャパターンを抽出し、前記支配的特徴抽出部は、前記複数の画像に対し、前記テクスチャ特徴抽出部において前記画像から抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を支配的特徴セットとして抽出し、前記選択特徴統合部は、前記凹凸の摩耗度が近傍となる画像集合の各々に対し、前記画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、凹凸の摩耗度と関連する前記局所的なテクスチャパターンとして抽出する。

第５及び第６の発明によれば、テクスチャ特徴抽出部により、入力された、凹凸の摩耗度が予め付与され、かつ、推定対象物を表す複数の画像に対し、画像に含まれる画素の各々について局所的なテクスチャパターンを抽出し、支配的特徴抽出部により、複数の画像に対し、テクスチャ特徴抽出部において画像から抽出された局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を支配的特徴セットとして抽出し、選択特徴統合部により、凹凸の摩耗度が近傍となる画像集合の各々に対し、画像集合から抽出された支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、画像集合の各々に対して取り出された局所的なテクスチャパターンの和集合を、凹凸の摩耗度と関連する局所的なテクスチャパターンとして抽出する。

このように、入力された、凹凸の摩耗度が予め付与され、かつ、推定対象物を表す複数の画像に対し、局所的なテクスチャパターンを抽出し、複数の画像に対し、局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を支配的特徴セットとして抽出し、凹凸の摩耗度が近傍となる画像集合の各々に対し、支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、取り出された局所的なテクスチャパターンの和集合を、凹凸の摩耗度と関連する局所的なテクスチャパターンとして抽出することにより、精度よく摩耗度を推定するためのパターンを抽出することができる。

また、本発明のプログラムは、コンピュータを、上記の摩耗度推定装置、摩耗度推定器学習装置及び画像特徴選択装置を構成する各部として機能させるためのプログラムである。

以上説明したように、本発明の摩耗推定装置、方法、及びプログラムによれば、入力された、推定対象物を表す画像内のパッチ画像毎に、予め定められた凹凸の摩耗度と関連する局所的なテクスチャパターンと、正規化明度ヒストグラムとを、パッチ画像の画像特徴として抽出し、パッチ画像の各々について、パッチ画像の画像特徴と、予め学習された、凹凸の摩耗度を推定するための摩耗度推定器のパラメータと、に基づいて、パッチ画像に対応する部分の摩耗度を推定することにより、精度よく摩耗度を推定することができる。

また、本発明の摩耗推定器学習装置、方法、及びプログラムによれば、入力された、推定対象物を表す画像内のパッチ画像であって、かつ、凹凸の摩耗度が予め付与されたパッチ画像毎に、局所的なテクスチャパターンと、正規化明度ヒストグラムとを、パッチ画像の画像特徴として抽出し、パッチ画像の各々についての画像特徴と、パッチ画像に付与された凹凸の摩耗度との組み合わせを、凹凸の摩耗度を推定するための摩耗度推定器のパラメータとして記憶することにより、精度よく摩耗度を推定することができるパラメータを学習することができる。

また、本発明の画像特徴選択装置、方法、及びプログラムによれば、入力された、凹凸の摩耗度が予め付与され、かつ、推定対象物を表す複数の画像に対し、局所的なテクスチャパターンを抽出し、複数の画像に対し、局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を支配的特徴セットとして抽出し、凹凸の摩耗度が近傍となる画像集合の各々に対し、支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、取り出された局所的なテクスチャパターンの和集合を、凹凸の摩耗度と関連する局所的なテクスチャパターンとして抽出することにより、精度よく摩耗度を推定するためのパターンを抽出することができる。

本発明の実施の形態に係る画像特徴選択装置の機能的構成を示すブロック図である。 ＬＢＰ特徴を算出する例を示す図である。 特徴選択パラメータＧを抽出する例を示す図である。 本発明の実施の形態に係る摩耗度推定器学習装置の機能的構成を示すブロック図である。 パッチ画像を取得する例を示す図である。 本発明の実施の形態に係る摩耗度推定装置の機能的構成を示すブロック図である。 本発明の実施の形態に係る画像特徴選択装置における画像特徴選択処理ルーチンのフローチャートを示す図である。 本発明の実施の形態に係る摩耗度推定器学習装置における摩耗度推定器学習処理ルーチンのフローチャートを示す図である。 本発明の実施の形態に係る摩耗度推定装置における摩耗度推定処理ルーチンのフローチャートを示す図である。 実施例の結果の例を示す図である。 凹凸模様領域を目視により抽出する例を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の原理＞
まず、本実施の形態に係る画像特徴選択装置、摩耗度推定器学習装置、及び摩耗度推定装置についての原理について説明する。

本実施の形態では、画像特徴の設計によって上述の課題を解決する。滑り止めのような人工的に設けられた凹凸模様高さを推定するための手掛かりとなる要素として、凹凸形状の上面・底面・壁面や凹凸形状の輪郭線、なかでも山折り線・谷折り線・遮蔽境界といった要素がそれぞれどういった割合で構成されているかを抽出することは有用である。

非特許文献２では、こうした要素をまとめて境界線検出としているが、理想的にはより細分化された特徴要素を得られることが望ましい。こうした局所的なテクスチャ情報を弁別する画像特徴の出現頻度を手掛かりとして摩耗度の推定を実現する。局所的なテクスチャを識別するための頑健な画像特徴として例えばLocal Binary Pattern (ＬＢＰ)画像特徴（非特許文献３：Y. Guo, G. Zhao, M. Pietikaeinen, “Discriminative features for texture description” Pattern Recognition, 45(10), 3834-3843, 2012）やHaar-like画像特徴が知られている。

しかし、ＬＢＰ特徴表現のような局所テクスチャ表現は膨大なパターン数を持つため、これらのパターンから推定に有用なパターンのみを取り出すため、本実施の形態においては、凹凸模様高さとの関連が強いパターンのみを抽出する。また、局所的なテクスチャ表現特徴は局所的な明度の関係性のみを抽出するため、本実施の形態においては、段差による影などの大域的な手がかりを捉えるために正規化明度ヒストグラムによる画像特徴を合わせて用いる。そして、得られた画像特徴からｋ近傍法などの機械学習手法を用いた摩耗度の推定を行う。

加えて、推定対象が繰り返しパターンであれば画像を細かい領域に分割することでより高精度かつ高分解能で摩耗度を推定することができる。これは、同一画像のなかでも場所によって劣化度合いが異なるため、局所的に摩耗度を推定することで、より厳密な推定ができるからである。本実施の形態においては、画像からパッチを切り出し、パッチ毎に推定を行うことで、精度良く摩耗度を推定し、かつ画像中の一部の摩耗領域を検出する。

推定に有用なテクスチャパターンの抽出に関しては、例えばＬＢＰ特徴を用いて識別クラス毎に支配的なＬＢＰ特徴を抽出する手法が存在しているが、（非特許文献３）、本実施の形態においては、このアプローチを連続値の推定である摩耗度推定に適用することで、摩耗度推定に有用なパターンのみを推定に用いる。各画像サンプルは識別クラスを持たないため、ある一定の摩耗度の範囲における支配的なパターンを抽出し、選択された特徴として活用する。

本実施の形態における新規性は、凹凸模様の摩耗度推定における局所的なテクスチャパターンを弁別する画像特徴及び大域的な正規化明度ヒストグラムの利用、画像からのパッチ切り出しに基づく摩耗度推定、連続値データを用いた支配的テクスチャパターンの抽出、の４つであり、これらの効果によって環境変化に頑健な摩耗度推定を実現する。

次に、本実施の形態に係る画像特徴選択装置、摩耗度推定器学習装置、及び摩耗度推定装置の構成について説明する。本実施の形態においては、特に、マンホール鉄蓋画像の摩耗推定に際して画像特徴選択装置、摩耗度推定器学習装置、及び摩耗度推定装置を適用する場合について説明し、推定対象となる摩耗度には鉄蓋の凹凸模様高さ(mm)を用いる。また、本実施の形態においては、局所的なテクスチャパターンを取り出す画像特徴としては、例えば、ＬＢＰ画像特徴を用いる。

次に、本発明の実施の形態に係る画像特徴選択装置、摩耗度推定器学習装置、及び摩耗度推定装置の構成について説明する。画像特徴選択装置においては、凹凸模様の画像と当該画像に対応する凹凸模様の摩耗度のデータを合わせて入力とし、摩耗度推定器学習装置においては、凹凸模様の画像と当該画像の部分毎に対応する凹凸模様の摩耗度のデータを合わせて入力とし、データに対応した特徴選択及び摩耗度推定器の学習を行う。画像特徴選択装置では、多数のＬＢＰ特徴の中から凹凸模様高さをより良く識別するためのＬＢＰ特徴を選択する。摩耗度推定器学習装置では、選択されたＬＢＰ特徴及び正規化明度ヒストグラムを凹凸模様画像から抽出し、対応する摩耗度の値と共に記憶したものを摩耗度推定器として学習する。最後に摩耗度推定装置では、摩耗度が未知の凹凸模様画像に対して画像特徴を抽出し、学習された摩耗度推定器によって摩耗度を推定する。

＜本発明の実施の形態に係る画像特徴選択装置の構成＞
まず、本発明の実施の形態に係る画像特徴選択装置の構成について説明する。図１に示すように、本発明の実施の形態に係る画像特徴選択装置１００は、ＣＰＵと、ＲＡＭと、後述する画像特徴選択処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像特徴選択装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを備えている。

入力部１０は、凹凸模様の画像の集合を受け付け、画像記憶部２２に記憶する。また、入力部１０は、画像集合に含まれる画像ｉ（１〜Ａ）の各々に対応した凹凸の摩耗度（凹凸模様の高さ）を凹凸模様摩耗データとして受け付け、凹凸模様摩耗データ記憶部３２に記憶する。なお、凹凸模様摩耗データ記憶部３２に記憶されている凹凸模様摩耗データの各々は、対応する画像ｉの各々と対応づけられて記憶されている。また、本実施の形態において画像集合に含まれる画像の総数はＡとする。

演算部２０は、画像記憶部２２と、凹凸領域抽出部２４と、テクスチャ特徴抽出部２８と、支配的特徴抽出部３０と、凹凸模様摩耗データ記憶部３２と、選択特徴統合部３４と、特徴選択パラメータ記憶部３６と、を備えている。

画像記憶部２２には、入力部１０において受け付けた、凹凸模様の画像の集合が記憶されている。

凹凸領域抽出部２４は、画像記憶部２２に記憶されている画像ｉの各々について、当該画像ｉから推定対象物の領域となる凹凸模様領域を抽出する。本実施の形態については、既知の各種物体検出手法や、前景抽出手法を用いて、自動的に推定対象物を表す凹凸模様領域を抽出する。

画像正規化部２６は、凹凸領域抽出部２４において取得した、画像ｉ毎の凹凸模様領域の各々について、推定対象物であるマンホールの鉄蓋の大きさに合わせて画像サイズを調整する。具体的には、推定対象物であるマンホールの鉄蓋の直径は既知であることから、当該画像ｉの凹凸模様領域を一定のサイズに拡縮することにより、正規化を行う。

テクスチャ特徴抽出部２８は、画像正規化部２６において正規化された、画像毎の凹凸模様領域の各々について、ＬＢＰ特徴ヒストグラムを算出する。ここで、ＬＢＰ特徴は、図２に示すような周辺画素との輝度値の比較を２値のコード化したものであり、局所的なテクスチャパターンである。具体的には、まず、画像ｉにおける凹凸模様領域の各画素について、その周辺画素との関係から１つのＬＢＰ特徴を下記（１）式に従って算出する。

ここで、ｃは注目画素であり、ｇ_ｃは注目画素の輝度である。また、ｐは参照画素であり、ｇ_ｐは参照画素の輝度値である。Ｐは参照点数であり、Ｒは半径を示し、参照画素ｐは、半径Ｒの円周上をＰ点に分割した画素として取得する。なお、ｐ＝０となる画素の位置と、ｐの値が増加する方向、及び位置とは予め定められているものとする。また、注目画素ｃの周辺画素としてＰ個の参照画素が存在しない場合には、当該注目画素ｃについては、ＬＢＰ特徴を算出しない。

次に、画像ｉにおける凹凸模様領域の各画素について取得されたＬＢＰ特徴に基づいて、ＬＢＰ特徴のヒストグラムを作成し、当該ＬＢＰ特徴のヒストグラムを画像ｉのＬＢＰ特徴ヒストグラムとする。

支配的特徴抽出部３０は、画像ｉ毎に、テクスチャ特徴抽出部２８において、当該画像ｉについて取得されたＬＢＰ特徴ヒストグラムに基づいて、頻出しているＬＢＰ特徴の組み合わせを抽出する。具体的には、当該画像ｉについてのＬＢＰ特徴ヒストグラムにおいて、ＬＢＰ特徴の検出量が大きい順に支配的特徴に加えていき、加算した値の総和が全体の一定割合に到達したところで加算を終了し、取得されたＬＢＰ特徴の組み合わせを当該画像ｉの支配的特徴Ｄ_ｉとする。

ここで、ＬＢＰ特徴には様々な形態があり、そのパラメータによっていくつかの種類のＬＢＰ特徴を設計することができるが、この支配的特徴抽出は設計されたＬＢＰ特徴毎に独立して実行する。ここで画像ｉから得られた支配的特徴をＤ_ｉとする。Ｄ_ｉはＬＢＰ特徴の集合である。

凹凸模様摩耗データ記憶部３２には、入力部１０において受け付けた画像集合に含まれる画像ｉの各々に対応した凹凸模様摩耗データが、画像ｉに対応づけられて記憶されている。本実施の形態においては、当該画像ｉにおける平均の凹凸模様の高さ（ｍｍ）を当該画像ｉに対応する凹凸模様摩耗データとする。

選択特徴統合部３４は、図３に示すように、支配的特徴抽出部３０により取得された各画像ｉの支配的特徴Ｄ_ｉから、摩耗度推定に有用な特徴であるＬＢＰ特徴を特徴選択パラメータＧとして抽出する。具体的には、まず、凹凸模様摩耗データ記憶部３２に記憶されている画像ｉの各々に対応づけられ凹凸模様摩耗データに基づいて、画像ｉの凹凸の高さの順に、支配的特徴抽出部３０において取得した画像ｉの支配的特徴Ｄ_ｉを並べる。次に、各画像ｉについて、各画像の凹凸模様摩耗データに基づいて、当該画像ｉとの凹凸の高さの差がＴ_ｈ以下となる画像の集合に含まれる画像ｊ各々の支配的特徴Ｄ_ｊを、当該画像ｉの近傍支配的特徴セットとして取得する。次に、画像ｉ各々について、取得した近傍支配的特徴セットに基づいて、下記（２）式に従って、当該近傍支配的特徴セットにおいて共通するＬＢＰ特徴を画像ｉの周辺共通特徴セットＬ_ｉとして算出する。

ここで、Ｎ（ｉ）は、画像ｉと凹凸高さが近傍の画像集合を示す。そして、下記（３）式に従って、画像ｉの各々について取得した周辺共通特徴セットＬ_ｉの論理和を取り、取得した論理和を摩耗度の推定に用いる特徴選択パラメータＧとして取得し、出力部９０に出力すると共に、特徴選択パラメータ記憶部３６に記憶する。なお、特徴選択パラメータＧは、凹凸の摩耗度と関連する局所的なテクスチャパターンの集合である。

＜本発明の実施の形態に係る摩耗度推定器学習装置の構成＞
次に、本発明の実施の形態に係る摩耗度推定器学習装置の構成について説明する。図４に示すように、実施の形態に係る摩耗度推定器学習装置２００は、ＣＰＵと、ＲＡＭと、後述する摩耗度推定器学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この摩耗度推定器学習装置２００は、機能的には図４に示すように入力部２１０と、演算部２２０と、出力部２９０とを備えている。

入力部２１０は、推定対象物を表す凹凸模様の画像の集合を受け付け、画像記憶部２２２に記憶する。また、入力部２１０は、画像集合に含まれる画像ｉ（１〜Ａ）の各々の部分毎に対応した凹凸模様の高さのデータを凹凸模様摩耗データとして受け付け、凹凸模様摩耗データ記憶部２３４に記憶する。なお、凹凸模様摩耗データ記憶部２３４に記憶されている凹凸模様摩耗データの各々は、対応する画像ｉの各々の部分毎と対応づけられて記憶されている。また、凹凸模様摩耗データは、対応する部分の凹凸の高さとする。また、本実施の形態において画像集合に含まれる画像の総数はＡとする。

演算部２２０は、画像記憶部２２２と、凹凸領域抽出部２２４と、画像正規化部２２６と、パッチ抽出部２２８と、特徴選択パラメータ記憶部２３０と、画像特徴抽出部２３２と、凹凸模様摩耗データ記憶部２３４と、摩耗度推定器学習部２３６と、摩耗度推定器記憶部２３８と、を備えている。

画像記憶部２２２には、入力部２１０において受け付けた、凹凸模様の画像の集合が記憶されている。

凹凸領域抽出部２２４は、本実施の形態に係る画像特徴選択装置１００の凹凸領域抽出部２４と同様に、画像記憶部２２２に記憶されている画像ｉの各々について、当該画像ｉから推定対象となる領域の凹凸模様領域を抽出する。

画像正規化部２２６は、本実施の形態に係る画像特徴選択装置１００の画像正規化部２６と同様に、凹凸領域抽出部２２４において取得した、画像ｉ毎の凹凸模様領域の各々について、推定対象物であるマンホールの鉄蓋の大きさに合わせて画像サイズを調整し正規化する。

パッチ抽出部２２８は、画像ｉの各々について、図５に示すように、当該画像ｉの凹凸模様領域から、局所的に摩耗度を推定するための一定サイズのパッチ画像の各々を網羅的に取得する。

特徴選択パラメータ記憶部２３０には、本実施の形態に係る画像特徴選択装置１００の特徴選択パラメータ記憶部３６に記憶されている特徴選択パラメータＧと同一の特徴選択パラメータＧが記憶されている。

画像特徴抽出部２３２は、画像ｉ毎に、パッチ抽出部２２８において取得したパッチ画像の各々について、特徴選択パラメータ記憶部２３０に記憶されている特徴選択パラメータＧに応じたＬＢＰ特徴ヒストグラム及び正規化明度ヒストグラムを当該画像ｉの画像特徴として算出する。

まず、ＬＢＰ特徴ヒストグラムの算出から説明する。具体的には、まず、画像ｉのパッチ画像の各々について、本実施の形態に係る画像特徴選択装置１００のテクスチャ特徴抽出部２８と同様に、ＬＢＰ特徴ヒストグラムを取得する。次に、取得したＬＢＰ特徴ヒストグラムから、特徴選択パラメータ記憶部２３０に記憶されている特徴選択パラメータＧに含まれるＬＢＰ特徴に対応するＬＢＰ特徴の頻度のみを取得することで、特徴選択パラメータＧに応じたＬＢＰ特徴ヒストグラムを取得する。

次に、正規化明度ヒストグラムの算出について説明する。具体的には、まず、画像ｉのパッチ画像の各々について、下記（４）式に従って、当該パッチ画像内の全画素の輝度値をヒストグラム化する。

ここで、Ｉ＾が当該パッチ画像の輝度値を並べたベクトル、ｍが当該パッチ画像の輝度値を並べたベクトルの平均値、ｓが標準偏差を示すパラメータである。また、Ｉ＾_ｎが正規化された輝度値ベクトルであり、当該正規化された輝度値ベクトルＩ＾_ｎに基づいて、一定幅の正規化明度ヒストグラムを算出する。ここで、一定幅とは、予め定められた一定の範囲の正規化された輝度値を表す。なお、記号の後ろに「＾」がついている記号はベクトルを表す。

凹凸模様摩耗データ記憶部２３４には、入力部２１０において受け付けた画像集合に含まれる画像ｉの各々の部分毎に対応した凹凸模様摩耗データが、画像ｉに対応づけられて記憶されている。

摩耗度推定器学習部２３６は、画像ｉ毎に、当該画像ｉに含まれるパッチ画像の各々について、凹凸模様摩耗データ記憶部２３４に記憶されている当該画像ｉのパッチ画像部分に対応する凹凸模様摩耗データと、画像特徴抽出部２３２において取得した、当該パッチ画像の特徴選択パラメータＧに応じたＬＢＰ特徴ヒストグラム及び正規化明度ヒストグラムとを対応づけて、出力部２９０に出力すると共に、摩耗度推定器記憶部２３８に記憶する。なお、パッチ画像部分に対応する凹凸模様摩耗データを、画像ｉの部分毎の凹凸模様摩耗データのうち、最もパッチ画像と近い部分の凹凸模様摩耗データとする。また、摩耗度推定器記憶部２３８に記憶されているパッチ画像毎の、当該パッチ画像部分に対応する凹凸模様摩耗データと、ＬＢＰ特徴ヒストグラム及び正規化明度ヒストグラムとの組み合わせの集合を摩耗度推定器のパラメータとする。なお、ＬＢＰ特徴ヒストグラム及び正規化明度ヒストグラムとの組み合わせを特徴ベクトルとする。

摩耗度推定器記憶部２３８には、摩耗度推定器学習部２３６により取得した摩耗度推定器のパラメータが記憶されている。

＜本発明の実施の形態に係る摩耗度推定装置の構成＞
次に、本発明の実施の形態に係る摩耗度推定装置の構成について説明する。図６に示すように、本実施の形態に係る摩耗度推定装置３００は、ＣＰＵと、ＲＡＭと、後述する摩耗度推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この摩耗度推定装置３００は、機能的には図６に示すように入力部３１０と、演算部３２０と、出力部３９０とを備えている。

入力部３１０は、摩耗度を推定する対象物となるマンホールの画像を受け付ける。

演算部３２０は、凹凸領域抽出部３２２と、画像正規化部３２４と、パッチ抽出部３２６と、特徴選択パラメータ記憶部３２８と、画像特徴抽出部３３０と、摩耗度推定器記憶部３３２と、局所摩耗度推定部３３４と、大域統合部３３６と、を備えている。

凹凸領域抽出部３２２は、本実施の形態に係る画像特徴選択装置１００の凹凸領域抽出部２４と同様に、入力部３１０において受け付けた画像について、当該画像から推定対象物を表す凹凸模様領域を抽出する。

画像正規化部３２４は、本実施の形態に係る画像特徴選択装置１００の画像正規化部２６と同様に、凹凸領域抽出部３２２において取得した、画像の凹凸模様領域について、推定対象物であるマンホールの鉄蓋の大きさに合わせて画像サイズを調整し正規化する。

パッチ抽出部３２６は、本実施の形態に係る摩耗度推定器学習装置２００のパッチ抽出部２２８と同様に、入力部３１０において受け付けた画像について、当該画像の凹凸模様領域から、局所的に摩耗度を推定するための一定サイズのパッチ画像の各々を網羅的に取得する。

特徴選択パラメータ記憶部３２８には、本実施の形態に係る画像特徴選択装置１００の特徴選択パラメータ記憶部３６に記憶されている特徴選択パラメータＧと同一の特徴選択パラメータＧが記憶されている。

画像特徴抽出部３３０は、入力部３１０において受け付けた画像のパッチ抽出部３２６において取得したパッチ画像の各々について、特徴選択パラメータ記憶部３２８に記憶されている特徴選択パラメータＧに応じたＬＢＰ特徴ヒストグラム及び正規化明度ヒストグラムを特徴として算出する。

摩耗度推定器記憶部３３２には、第２の実施の形態に係る摩耗度推定器記憶部２３８に記憶されている、摩耗度推定器のパラメータと同一の摩耗度推定器のパラメータが記憶されている。

局所摩耗度推定部３３４は、入力部３１０において受け付けた画像のパッチ画像の各々について、画像特徴抽出部３３０において取得した当該パッチ画像の特徴選択パラメータＧに応じたＬＢＰ特徴ヒストグラム及び正規化明度ヒストグラムと、摩耗度推定器記憶部３３２に記憶されている摩耗度推定器のパラメータとに基づいて、ｋ近傍法などのパターン認識手法を用いて、当該パッチ画像の凹凸の摩耗度を算出する。

大域統合部３３６は、局所摩耗度推定部３３４において取得された、各パッチ画像の凹凸の摩耗度に基づいて、入力部３１０において受け付けた画像の凹凸の摩耗度を算出する。具体的には、各パッチ画像の凹凸の摩耗度の画像全体での平均を算出し、算出した値を画像全体の凹凸の摩耗度とする。

＜本発明の実施の形態に係る画像特徴選択装置の作用＞
次に、本発明の実施の形態に係る画像特徴選択装置１００の作用について説明する。まず、入力部１０において、推定対象物を表す凹凸模様の画像ｉの集合を受け付け、画像記憶部２２に記憶する。また、入力部１０において、画像ｉの各々に対応した凹凸模様摩耗データを受け付け、凹凸模様摩耗データ記憶部３２に記憶する。そして、画像特徴選択装置１００は、画像記憶部２２から画像集合を読み込むと、図７に示す画像特徴選択処理ルーチンを実行する。

まず、ステップＳ１００では、凹凸模様摩耗データ記憶部３２に記憶されている、画像ｉの各々に対応する凹凸模様摩耗データの各々を読み込む。

次に、ステップＳ１０２では、読み込んだ画像集合に含まれる画像から処理対象となる画像ｉを決定する。

次に、ステップＳ１０４では、処理対象となる画像ｉについて、推定対象物の領域となる凹凸模様領域を抽出する。

次に、ステップＳ１０６では、ステップＳ１０４において取得した、処理対象となる画像ｉの凹凸模様領域について、推定対象物であるマンホールの鉄蓋の大きさに合わせて画像サイズを調整し、正規化する。

次に、ステップＳ１０８では、処理対象となる画像ｉの、ステップＳ１０６において取得した正規化された凹凸模様領域に含まれる画素の内、処理対象となる画素を決定する。

次に、ステップＳ１１０では、処理対象となる画素について、上記（１）式に従って、ＬＢＰ特徴を算出する。

次に、ステップＳ１１２では、処理対象となる画素の全てについてステップＳ１１０の処理を終了したか否かを判定する。処理対象となる画素の全てについてステップＳ１１０の処理を終了している場合には、ステップＳ１１４へ移行する。一方、処理対象となる画素の全てについてステップＳ１１０の処理を終了していない場合には、ステップＳ１０８へ移行し、処理対象となる別の画素を決定し、ステップＳ１１０〜ステップＳ１１２の処理を繰り返す。

次に、ステップＳ１１４では、ステップＳ１１０において取得した画素の各々についてのＬＢＰ特徴に基づいて、処理対象となる画像ｉのＬＢＰ特徴ヒストグラムを作成する。

次に、ステップＳ１１６では、ステップＳ１１４において取得した、処理対象となる画像ｉのＬＢＰ特徴の総和を算出する。

次に、ステップＳ１１８では、ステップＳ１１４において取得したＬＢＰ特徴ヒストグラムの内、ステップＳ１２０の処理対象となっておらず、かつ、ＬＢＰ特徴の検出量が一番大きいＬＢＰ特徴を、処理対象となるＬＢＰ特徴として決定する。

次に、ステップＳ１２０では、ステップＳ１１８において取得したＬＢＰ特徴の検出量の値を初期値０、又は前回のステップＳ１２０において取得した値に加算する。

次に、ステップＳ１２２では、ステップＳ１２０において取得した値が、ステップＳ１１６において取得したＬＢＰ特徴の検出量の総和の一定割合を超えたか否かを判定する。ステップＳ１２０において取得した値が、ステップＳ１１６において取得したＬＢＰ特徴の検出量の総和の一定割合を超えた場合には、ステップＳ１２４へ移行する。一方、ステップＳ１２０において取得した値が、ステップＳ１１６において取得したＬＢＰ特徴の検出量の総和の一定割合未満である場合には、ステップＳ１１８へ移行し、処理対象となる別のＬＢＰ特徴を決定し、ステップＳ１２０〜ステップＳ１２２の処理を繰り返す。

次に、ステップＳ１２４では、ステップＳ１１８において決定したＬＢＰ特徴の各々をまとめて、当該画像ｉの支配的特徴Ｄ_ｉと決定する。

次に、ステップＳ１２６では、処理対象となる全ての画像ｉについてステップＳ１０２〜ステップＳ１２４までの処理を終了したか否かを判定する。処理対象となる全ての画像ｉについてステップＳ１０２〜ステップＳ１２４までの処理を終了している場合には、ステップＳ１２８へ移行する。一方、処理対象となる全ての画像ｉについてステップＳ１０２〜ステップＳ１２４までの処理を終了していない場合には、ステップＳ１０２へ移行し、処理対象となる別の画像ｉを決定し、ステップＳ１０４〜ステップＳ１２６までの処理を繰り返す。

次に、ステップＳ１２８では、ステップＳ１００において取得した画像ｉの各々についての凹凸模様摩耗データに基づいて、画像ｉの各々の凹凸の高さの順に、ステップＳ１２４において取得した画像ｉの各々の支配的特徴Ｄ_ｉを整列する。

次に、ステップＳ１３０では、処理対象となる画像ｉを決定する。

次に、ステップＳ１３２では、ステップＳ１２８において取得した整列された支配的特徴Ｄ_ｉと、ステップＳ１００において取得した画像ｉの各々についての凹凸模様摩耗データとに基づいて、処理対象となる画像ｉに対して、凹凸の高さの差がＴ_ｈ以下となる画像の集合に含まれる画像ｊの各々の支配的特徴Ｄ_ｊを、処理対象となる画像ｉの近傍支配的特徴セットとして取得する。

次に、ステップＳ１３４では、処理対象となる画像ｉの近傍支配的特徴セットに基づいて、上記（２）式に従って、周辺共通特徴セットＬ_ｉを算出する。

次に、ステップＳ１３６では、処理対象となる全ての画像についてステップＳ１３４の処理を終了したか否かを判定する。処理対象となる全ての画像についてステップＳ１３４の処理を終了している場合には、ステップＳ１３８へ移行する。一方、処理対象となる全ての画像についてステップＳ１３４の処理を終了していない場合には、ステップＳＳ１３２へ移行し、処理対象となる別の画像ｉを決定し、ステップＳ１３４〜ステップＳ１３６の処理を繰り返す。

次に、ステップＳ１３８では、各画像ｉのステップＳ１３４において取得した周辺共通特徴セットＬ_ｉに基づいて、上記（３）式に従って、特徴選択パラメータＧを算出する。

次に、ステップＳ１４０では、ステップＳ１３８において取得した特徴選択パラメータＧを特徴選択パラメータ記憶部３６に記憶する。

次に、ステップＳ１４２では、ステップＳ１３８において取得した特徴選択パラメータＧを出力部９０に出力して特徴選択処理ルーチンを終了する。

＜本発明の実施の形態に係る摩耗度推定器学習装置の作用＞
次に、本発明の実施の形態に係る摩耗度推定器学習装置２００の作用について説明する。事前に、入力部２１０において、画像特徴選択装置１００において取得した特徴選択パラメータＧを受け付け、特徴選択パラメータ記憶部２３０に記憶しておく。そして、入力部２１０において、凹凸模様の画像ｉの集合を受け付け、画像記憶部２２２に記憶する。次に、入力部２１０において、画像ｉの各々の部分毎に対応した凹凸模様摩耗データを受け付け、凹凸模様摩耗データ記憶部２３４に記憶する。次に、摩耗度推定器学習装置２００は、画像記憶部２２２から画像集合を読み込むと、図８に示す摩耗度推定器学習処理ルーチンを実行する。

まず、ステップＳ２００では、凹凸模様摩耗データ記憶部２３４に記憶されている、画像ｉの各々の部分毎に対応する凹凸模様摩耗データの各々を読み込む。

次に、ステップＳ２０２では、特徴選択パラメータ記憶部２３０に記憶されている特徴選択パラメータＧを読み込む。

次に、ステップＳ２０４では、読み込んだ画像集合に含まれる画像から処理対象となる画像ｉを決定する。

次に、ステップＳ２０６では、処理対象となる画像ｉについて、推定対象物を表す凹凸模様領域を抽出する。

次に、ステップＳ２０８では、ステップＳ２０６において取得した、処理対象となる画像ｉの凹凸模様領域について、推定対象物であるマンホールの鉄蓋の大きさに合わせて画像サイズを調整し、正規化する。

次に、ステップＳ２１０では、ステップＳ２０８において取得した、処理対象となる画像ｉの正規化された凹凸模様領域から、一定サイズのパッチ画像の各々を網羅的に取得する。

次に、ステップＳ２１２では、ステップＳ２１０において取得した画像ｉのパッチ画像の各々から、処理対象となるパッチ画像を決定する。

次に、ステップＳ２１４では、処理対象となるパッチ画像の内、処理対象となる画素を決定する。

次に、ステップＳ２１６では、処理対象となる画素について、上記（１）式に従って、ＬＢＰ特徴を算出する。

次に、ステップＳ２１８では、処理対象となる画素の全てについてステップＳ２１６の処理を終了したか否かを判定する。処理対象となる画素の全てについてステップＳ２１６の処理を終了している場合には、ステップＳ２２０へ移行する。一方、処理対象となる画素の全てについてステップＳ２１６の処理を終了していない場合には、ステップＳ２１４へ移行し、処理対象となる別の画素を決定し、ステップＳ２１６〜ステップＳ２１８の処理を繰り返す。

次に、ステップＳ２２０では、ステップＳ２１６において取得した画素の各々についてのＬＢＰ特徴に基づいて、処理対象となるパッチ画像のＬＢＰ特徴ヒストグラムを作成する。

次に、ステップＳ２２２では、ステップＳ２２０において取得したＬＢＰ特徴ヒストグラムから、ステップＳ２０２において取得した特徴選択パラメータＧに含まれるＬＢＰ特徴に該当するＬＢＰ特徴の頻度のみを抽出したＬＢＰ特徴ヒストグラムを取得する。

次に、ステップＳ２２４では、処理対象となるパッチ画像に含まれる画素の輝度値を並べたベクトルＩ＾を取得する。

次に、ステップＳ２２６では、ステップＳ２２４において取得したベクトルＩ＾に基づいて、ベクトルＩ＾の平均値ｍを取得する。

次に、ステップＳ２２８では、ステップＳ２２４において取得したベクトルＩ＾と、ステップＳ２２６において取得したベクトルＩ＾の平均値ｍとに基づいて、ベクトルＩ＾の標準偏差ｓを取得する。

次に、ステップＳ２３０では、ステップＳ２２４において取得したベクトルＩ＾と、ステップＳ２２６において取得した平均値ｍと、ステップＳ２２８において取得した標準偏差ｓとに基づいて、上記（４）式に従って、正規化された輝度値ベクトルＩ＾_ｎを算出する。

次に、ステップＳ２３２では、ステップＳ２３０において取得した正規化された輝度値ベクトルＩ＾_ｎと、予め定められた一定の範囲の値と、に基づいて、正規化明度ヒストグラムを算出する。

次に、ステップＳ２３４では、処理対象となるパッチ画像の全てについてステップＳ２１４〜ステップＳ２３２の処理を終了したか否かを判定する。処理対象となるパッチ画像の全てについてステップＳ２１４〜ステップＳ２３２の処理を終了している場合には、ステップＳ２３６へ移行する。一方、処理対象となるパッチ画像の全てについてステップＳ２１４〜ステップＳ２３２の処理を終了していない場合には、ステップＳ２１２へ移行し、処理対象となる別のパッチ画像を決定し、ステップＳ２１４〜ステップＳ２３４の処理を繰り返す。

次に、ステップＳ２３６では、処理対象となる画像の全てについてステップＳ２０６〜ステップＳ２３４の処理を終了したか否かを判定する。処理対象となる画像の全てについてステップＳ２０６〜ステップＳ２３４の処理を終了している場合には、ステップＳ２３６へ移行する。一方、処理対象となる画像の全てについてステップＳ２０６〜ステップＳ２３４の処理を終了していない場合には、ステップＳ２０４へ移行し、処理対象となる別の画像ｉを決定し、ステップＳ２０６〜ステップＳ２３６の処理を繰り返す。

次に、ステップＳ２３８では、ステップＳ２２２において取得した、画像ｉの各々のパッチ画像毎のＬＢＰ特徴ヒストグラム、及びステップＳ２３２において取得した、画像ｉの各々のパッチ画像毎の正規化明度ヒストグラムと、ステップＳ２００において取得した画像ｉの各々のパッチ画像に対応する凹凸模様摩耗データとの組み合わせの各々を摩耗度推定器のパラメータとして学習する。

次に、ステップＳ２４０では、ステップＳ２３８で取得した摩耗度推定器のパラメータを摩耗度推定器記憶部２３８に記憶する。

次に、ステップＳ２４２では、ステップＳ２３８で取得した摩耗度推定器を出力部２９０に出力して摩耗度推定器学習処理ルーチンを終了する。

＜本発明の実施の形態に係る摩耗度推定装置の作用＞
次に、本発明の実施の形態に係る摩耗度推定装置３００の作用について説明する。まず、事前に入力部３１０において、画像特徴選択装置１００において取得した特徴選択パラメータＧを受け付け、特徴選択パラメータ記憶部３２８に記憶し、また、入力部３１０において、摩耗度推定器学習装置２００において取得した摩耗度推定器のパラメータを受け付け、摩耗度推定器記憶部３３２に記憶する。そして、入力部３１０において、検出対象となる画像を受け付けると、摩耗度推定装置３００は、図９に示す摩耗度推定処理ルーチンを実行する。

まず、ステップＳ３００では、摩耗度推定器記憶部３３２に記憶されている摩耗度推定器のパラメータを読み込む。

次に、ステップＳ３０２では、特徴選択パラメータ記憶部３２８に記憶されている特徴選択パラメータＧを読み込む。

次に、ステップＳ３０４では、受け付けた画像について、推定対象物を表す凹凸模様領域を抽出する。

次に、ステップＳ３０６では、ステップＳ３０４において取得した、受け付けた画像の凹凸模様領域について、推定対象物であるマンホールの鉄蓋の大きさに合わせて画像サイズを調整し、正規化する。

次に、ステップＳ３０８では、ステップＳ３０６において取得した、受け付けた画像の正規化された凹凸模様領域から、一定サイズのパッチ画像の各々を網羅的に取得する。

次に、ステップＳ３１０では、ステップＳ３０８において取得した画像のパッチ画像の各々から、処理対象となるパッチ画像を決定する。

次に、ステップＳ３１２では、処理対象となるパッチ画像の内、処理対象となる画素を決定する。

次に、ステップＳ３１４では、処理対象となる画素について、上記（１）式に従って、ＬＢＰ特徴を算出する。

次に、ステップＳ３１６では、処理対象となる画素の全てについてステップＳ３１４の処理を終了したか否かを判定する。処理対象となる画素の全てについてステップＳ３１４の処理を終了している場合には、ステップＳ３１８へ移行する。一方、処理対象となる画素の全てについてステップＳ３１４の処理を終了していない場合には、ステップＳ３１２へ移行し、処理対象となる別の画素を決定し、ステップＳ３１４〜ステップＳ３１６の処理を繰り返す。

次に、ステップＳ３１８では、ステップＳ３１４において取得した画素の各々についてのＬＢＰ特徴に基づいて、処理対象となるパッチ画像のＬＢＰ特徴ヒストグラムを作成する。

次に、ステップＳ３２０では、ステップＳ３１８において取得したＬＢＰ特徴ヒストグラムから、ステップＳ３０２において取得した特徴選択パラメータＧに含まれるＬＢＰ特徴に該当するＬＢＰ特徴の頻度のみを抽出したＬＢＰ特徴ヒストグラムを取得する。

次に、ステップＳ３２２では、処理対象となるパッチ画像に含まれる画素の輝度値を並べたベクトルＩ＾を取得する。

次に、ステップＳ３２４では、ステップＳ３２２において取得したベクトルＩ＾に基づいて、ベクトルＩ＾の平均値ｍを取得する。

次に、ステップＳ３２６では、ステップＳ３２２において取得したベクトルＩ＾と、ステップＳ３２４において取得したベクトルＩ＾の平均値ｍとの基づいて、ベクトルＩ＾の標準偏差ｓを取得する。

次に、ステップＳ３２８では、ステップＳ３２２において取得したベクトルＩ＾と、ステップＳ３２４において取得した平均値ｍと、ステップＳ３２６において取得した標準偏差ｓとに基づいて、上記（４）式に従って、正規化された輝度値ベクトルＩ＾_ｎを算出する。

次に、ステップＳ３３０では、ステップＳ３２８において取得した正規化された輝度値ベクトルＩ＾_ｎと、予め定められた一定の範囲の値と、に基づいて、正規化明度ヒストグラムを算出する。

次に、ステップＳ３３２では、処理対象となるパッチ画像の全てについてステップＳ３１２〜ステップＳ３３０の処理を終了したか否かを判定する。処理対象となるパッチ画像の全てについてステップＳ３１２〜ステップＳ３３０の処理を終了している場合には、ステップＳ３３４へ移行する。一方、処理対象となるパッチ画像の全てについてステップＳ３１２〜ステップＳ３３０の処理を終了していない場合には、ステップＳ３１０へ移行し、処理対象となる別のパッチ画像を決定し、ステップＳ３１２〜ステップＳ３３２の処理を繰り返す。

次に、ステップＳ３３４では、ステップＳ３２０において取得した、受け付けた画像のパッチ画像毎のＬＢＰ特徴ヒストグラム、及びステップＳ３３０において取得した、受け付けた画像のパッチ画像毎の正規化明度ヒストグラムと、ステップＳ３００において取得した摩耗度推定器のパラメータとに基づいて、パッチ画像毎の凹凸の摩耗度を算出する。

次に、ステップＳ３３６では、ステップＳ３２０において取得した、パッチ画像毎の凹凸の摩耗度の平均値を、受け付けた画像全体の凹凸の摩耗度として算出する。

次に、ステップＳ３３８では、ステップＳ３３６で取得した凹凸の摩耗度を結果として、出力部３９０に出力して摩耗度推定処理ルーチンを終了する。

＜実験例＞
図１０に、マンホールの鉄蓋画像に、本実施の形態に係る摩耗度推定装置３００を適用した結果を示す。図１０の摩耗度が白から黒の色マップで表されているが、摩耗したマンホールは全体が黒っぽく推定されていることがわかる。

以上説明したように、本実施の形態に係る画像特徴選択装置によれば、入力された、凹凸の摩耗度が予め付与され、かつ、推定対象物を表す複数の画像に対し、局所的なテクスチャパターンを抽出し、複数の画像に対し、局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を支配的特徴セットとして抽出し、凹凸の摩耗度が近傍となる画像集合の各々に対し、支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、取り出された局所的なテクスチャパターンの和集合を、凹凸の摩耗度と関連する局所的なテクスチャパターンとして抽出することにより、精度よく摩耗度を推定するためのパターンを抽出することができる。

また、本実施の形態に係る摩耗度推定器学習装置によれば、入力された、推定対象物を表す画像内のパッチ画像であって、かつ、凹凸の摩耗度が予め付与されたパッチ画像毎に、局所的なテクスチャパターンと、正規化明度ヒストグラムとを、パッチ画像の画像特徴として抽出し、パッチ画像の各々についての画像特徴と、パッチ画像に付与された凹凸の摩耗度との組み合わせを、凹凸の摩耗度を推定するための摩耗度推定器のパラメータとして記憶することにより、精度よく摩耗度を推定することができるパラメータを学習することができる。

また、本実施の形態に係る摩耗推定装置によれば、入力された、推定対象物を表す画像内のパッチ画像毎に、予め定められた凹凸の摩耗度と関連する局所的なテクスチャパターンと、正規化明度ヒストグラムとを、パッチ画像の画像特徴として抽出し、パッチ画像の各々について、パッチ画像の画像特徴と、予め学習された、凹凸の摩耗度を推定するための摩耗度推定器のパラメータと、に基づいて、パッチ画像に対応する部分の凹凸の摩耗度を推定することにより、精度よく凹凸の摩耗度を推定することができる。

また、現在実用に堪える画像ベースの摩耗検知技術として、屋外での雑多な撮影環境において頑健に凹凸の摩耗度が推定できる。

また、撮影画像の凹凸模様領域のうち一部が摩耗しているという場合においても、適切な推定結果を出力することができるため、画像中の部分的な摩耗領域の検出に関しても解決することができる。

また、デジタルカメラによって屋外において撮影された凹凸模様を持つ物体に対して、その凹凸部分の摩耗度を頑健かつ高精度に推定することができる。また、撮影領域のうち一部分が摩耗している場合にも適切に部分的な摩耗を検知することができる。これによって、凹凸模様の摩耗に関する設備の劣化点検作業を大幅に効率化することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、本実施の形態においては、推定対象がマンホールの場合について説明したが、摩耗度の推定対象はこれに限定されるものではない。

また、本実施の形態においては、画像に対応した凹凸の摩耗度（凹凸模様の高さ）を凹凸模様摩耗データとする場合について説明したが、これに限定されるものではない。例えば、画像に対応した凹凸の摩耗の度合いを示す値を凹凸模様摩耗データとしてもよい。

また、本実施の形態においては、推定対象物を表す凹凸模様領域を抽出する際に、既知の各種物体検出手法や、前景領域抽出手法を用いる場合について説明したが、これに限定されるものではない。例えば、図１１に示すように、画像に対して目視による領域選択をすることによって領域抽出をしてもよい。

また、本実施の形態においては、選択特徴統合部３４において、画像ｉ毎に、周辺共通特徴セットＬ_ｉを取得し、当該周辺共通特徴セットＬ_ｉに基づいて特徴選択パラメータＧを取得する場合について説明したが、これに限定されるものではない。例えば、選択特徴統合部３４における統合処理において、摩耗度データを一定区間に区切ることで疑似的なクラス分けを構成し、クラスごとの論理積を算出した後に全体の論理和を算出してもよい。

また、本実施の形態においては、式（４）におけるパラメータｓについて、標準偏差を用いる場合について説明したが、これに限定されるものではない。例えば、パラメータｓに固定値を用いてもよい。

また、本実施の形態においては、画像からパッチ画像を取得する際に、画像内の画素が重複しないようにパッチ画像を取得する場合について説明したが、これに限定されるものではない。例えば、画像内の画素が重複してパッチ画像を取得してもよい。

また、本実施の形態においては、画像全体の凹凸の摩耗度を算出する際に、当該画像から取得されたパッチ画像の各々の凹凸の摩耗度の平均値を、当該画像全体の凹凸の摩耗度とする場合について説明したが、これに限定されるものではない。例えば、当該画像から取得されたパッチ画像の各々の凹凸の摩耗度に当該パッチ画像の位置に応じた重みづけをした値の平均値を、当該画像全体の凹凸の摩耗度としてもよい。

また、本実施の形態において、画像全体の凹凸の摩耗度を算出する場合について説明したが、これに限定されるものではない。例えば、画像中の部分的な凹凸の摩耗度を把握したい場合、画像全体におけるパッチ画像の凹凸の摩耗度の統合は行わず、把握したい画像の一部の領域に属するパッチ画像の凹凸の摩耗度に限定して平均値を算出してもよい。

また、本実施の形態においては、画像特徴選択装置１００、摩耗度推定器学習装置２００、及び摩耗度推定装置３００を別々の装置として構成する場合について説明したが、これに限定されるものではない。例えば、画像特徴選択装置１００と摩耗度推定器学習装置２００とを併せて摩耗度推定器学習装置として構成してもよく、画像特徴選択装置１００、摩耗度推定器学習装置２００、及び摩耗度推定装置３００を１つの摩耗度推定装置として構成してもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

１０ 入力部
２０ 演算部
２２ 画像記憶部
２４ 凹凸領域抽出部
２６ 画像正規化部
２８ テクスチャ特徴抽出部
３０ 支配的特徴抽出部
３２ 凹凸模様摩耗データ記憶部
３４ 選択特徴統合部
３６ 特徴選択パラメータ記憶部
９０ 出力部
１００ 画像特徴選択装置
２００ 摩耗度推定器学習装置
２１０ 入力部
２２０ 演算部
２２２ 画像記憶部
２２４ 凹凸領域抽出部
２２６ 画像正規化部
２２８ パッチ抽出部
２３０ 特徴選択パラメータ記憶部
２３２ 画像特徴抽出部
２３４ 凹凸模様摩耗データ記憶部
２３６ 摩耗度推定器学習部
２３８ 摩耗度推定器記憶部
２９０ 出力部
３００ 摩耗度推定装置
３１０ 入力部
３２０ 演算部
３２２ 凹凸領域抽出部
３２４ 画像正規化部
３２６ パッチ抽出部
３２８ 特徴選択パラメータ記憶部
３３０ 画像特徴抽出部
３３２ 摩耗度推定器記憶部
３３４ 局所摩耗度推定部
３３６ 大域統合部
３９０ 出力部

Claims (7)

1. 入力された、凹凸の摩耗度が予め付与され、かつ、推定対象物を表す複数の画像に対し、前記画像に含まれる画素の各々について局所的なテクスチャパターンを抽出するテクスチャ特徴抽出部と、
   前記複数の画像に対し、前記テクスチャ特徴抽出部において前記画像から抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を支配的特徴セットとして抽出する支配的特徴抽出部と、
   前記凹凸の摩耗度が近傍となる画像集合の各々に対し、前記画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、凹凸の摩耗度と関連する前記局所的なテクスチャパターンとして抽出する選択特徴統合部と、
   を含む、画像特徴選択装置。
2. 入力された、推定対象物を表す画像内の予め定められたサイズのパッチ画像毎に、前記パッチ画像に含まれる画素の各々について取得される、請求項１記載の画像特徴選択装置によって抽出された、前記凹凸の摩耗度と関連する局所的なテクスチャパターンの頻度を表す特徴ヒストグラムと、前記パッチ画像に含まれる画素の各々について取得される、前記パッチ画像の画素の輝度値の平均値及び標準偏差を用いて正規化した輝度値から算出される正規化明度ヒストグラムとを、前記パッチ画像の画像特徴として抽出する画像特徴抽出部と、
   前記パッチ画像の各々について、前記画像特徴抽出部により抽出された、前記パッチ画像の画像特徴と、予め学習された、凹凸の摩耗度を推定するための摩耗度推定器のパラメータと、に基づいて、前記パッチ画像に対応する部分の摩耗度を推定する局所摩耗度推定部と、
   を含む、摩耗度推定装置。
3. 入力された、推定対象物を表す画像内の予め定められたサイズのパッチ画像であって、かつ、凹凸の摩耗度が予め付与されたパッチ画像毎に、前記パッチ画像に含まれる画素の各々について取得される、請求項１記載の画像特徴選択装置によって抽出された、前記凹凸の摩耗度と関連する局所的なテクスチャパターンの頻度を表す特徴ヒストグラムと、前記パッチ画像に含まれる画素の各々について取得される、前記パッチ画像の画素の輝度値の平均値及び標準偏差を用いて正規化した輝度値から算出される正規化明度ヒストグラムとを、前記パッチ画像の画像特徴として抽出する画像特徴抽出部と、
   前記画像特徴抽出部により抽出された前記パッチ画像の各々についての画像特徴と、前記パッチ画像に付与された凹凸の摩耗度との組み合わせを、凹凸の摩耗度を推定するための摩耗度推定器のパラメータとして記憶する摩耗度推定器学習部と、
   を含む、摩耗度推定器学習装置。
4. テクスチャ特徴抽出部と、支配的特徴抽出部と、選択特徴統合部と、を含む画像特徴選択装置における画像特徴選択方法であって、
   前記テクスチャ特徴抽出部は、入力された、凹凸の摩耗度が予め付与され、かつ、推定対象物を表す複数の画像に対し、前記画像に含まれる画素の各々について局所的なテクスチャパターンを抽出し、
   前記支配的特徴抽出部は、前記複数の画像に対し、前記テクスチャ特徴抽出部において前記画像から抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を支配的特徴セットとして抽出し、
   前記選択特徴統合部は、前記凹凸の摩耗度が近傍となる画像集合の各々に対し、前記画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、凹凸の摩耗度と関連する前記局所的なテクスチャパターンとして抽出する、
   画像特徴選択方法。
5. 画像特徴抽出部と、局所摩耗度推定部と、を含む摩耗度推定装置における摩耗度推定方法であって、
   前記画像特徴抽出部は、入力された、推定対象物を表す画像内の予め定められたサイズのパッチ画像毎に、前記パッチ画像に含まれる画素の各々について取得される、請求項４記載の画像特徴選択方法によって抽出された、前記凹凸の摩耗度と関連する局所的なテクスチャパターンの頻度を表す特徴ヒストグラムと、前記パッチ画像に含まれる画素の各々について取得される、前記パッチ画像の画素の輝度値の平均値及び標準偏差を用いて正規化した輝度値から算出される正規化明度ヒストグラムとを、前記パッチ画像の画像特徴として抽出し、
   前記局所摩耗度推定部は、前記パッチ画像の各々について、前記画像特徴抽出部により抽出された、前記パッチ画像の画像特徴と、予め学習された、凹凸の摩耗度を推定するための摩耗度推定器のパラメータと、に基づいて、前記パッチ画像に対応する部分の摩耗度を推定する、
   摩耗度推定方法。
6. 画像特徴抽出部と、摩耗度推定器学習部と、を含む摩耗度推定器学習装置における摩耗度推定器学習方法であって、
   前記画像特徴抽出部は、入力された、推定対象物を表す画像内の予め定められたサイズのパッチ画像であって、かつ、凹凸の摩耗度が予め付与されたパッチ画像毎に、前記パッチ画像に含まれる画素の各々について取得される、請求項４記載の画像特徴選択方法によって抽出された、前記凹凸の摩耗度と関連する局所的なテクスチャパターンの頻度を表す特徴ヒストグラムと、前記パッチ画像に含まれる画素の各々について取得される、前記パッチ画像の画素の輝度値の平均値及び標準偏差を用いて正規化した輝度値から算出される正規化明度ヒストグラムとを、前記パッチ画像の画像特徴として抽出し、
   前記摩耗度推定器学習部は、前記画像特徴抽出部により抽出された前記パッチ画像の各々についての画像特徴と、前記パッチ画像に付与された凹凸の摩耗度との組み合わせを、凹凸の摩耗度を推定するための摩耗度推定器のパラメータとして記憶する、
   摩耗度推定器学習方法。
7. コンピュータを、請求項１記載の画像特徴選択装置、請求項２記載の摩耗度推定装置、又は請求項３記載の摩耗度推定器学習装置を構成する各部として機能させるためのプログラム。