JP7113657B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、従来目視で行われている検査を自動化する技術が検討されている。例えば、橋梁、ダム、及びトンネル等のコンクリート壁面の点検では、調査技術者がコンクリート壁面に接近し、ひび割れなどの変状を目視で確認している。このような近接目視と呼ばれる点検作業は作業コストが高いため、コンクリート壁面を撮影した画像から変状部を自動的に検出する方法が提案されている（特許文献１）。

検査においては、変状の有無を検出するだけでなく、変状部の属性を判定することが望まれる。例えば、コンクリートのひび割れ検査においては、ひび割れの幅を確認することにより、ひび割れの重要度又は危険性を判定することができる。特許文献１は、画像からひび割れ幅を求める方法を開示している。具体的には、ひび割れを示す画素を中心とした局所領域の輝度分布データと、ひび割れ幅との関係を示すデータベースが構築される。そして、検出対象のとなる画像の各画素について、局所領域の輝度分布データを取得してデータベースと照合し、最も近似した輝度分布データに固有なひび割れ幅をひび割れ幅の判定結果として出力する。この処理をひび割れの各画素に対して実行することで、ひび割れ幅を判定している。

特開２００９－１０３７２０号公報

しかし、特許文献１のように局所領域の画像データを用いたひび割れ幅判定では、ひび割れ幅を実際よりも太く判定することがある。例えば、コンクリート表面が剥離している（欠けている）ことや、コンクリート表面に気泡（あばた）が生じていることがある。このような部分を通るひび割れに対して、剥離や気泡の穴の部分における局所領域の輝度分布を取ると、ひび割れ幅が太い場合と同様の輝度分布が得られる。この場合に特許文献１の方法でひび割れ幅を判定すると、ひび割れ幅が実際よりも太く判定される。また、特許文献１に基づいて、１本のひび割れの最大ひび割れ幅を算出すると、実際よりも太く判定してしまったひび割れ幅の影響を受けて、実際よりも大きい最大ひび割れ幅を算出してしまう可能性がある。以上のように、局所領域の画像情報のみを用いてひび割れ幅を判定する従来の方法では、最大ひび割れ幅を精度良く求めることができなかった。

本発明は、画像に写っている被写体の変状部の属性を判定する技術において、判定精度を向上させることを目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、
構造物を撮影することによって得た入力画像から抽出された局所特徴に基づき検出された線成分の分岐を判定する判定手段と、
前記判定手段による判定結果に基づいて、前記構造物に生じたひび割れである変状部の範囲を特定する特定手段と、
前記変状部の範囲の特定結果に基づいて前記入力画像から前記変状部の部分画像に関する特徴を抽出する抽出手段と、
前記変状部の部分画像に関する特徴を用いて、前記変状部の属性を判定する属性判定手段と、
を備えることを特徴とする。

画像に写っている被写体の変状部の属性を判定する技術において、判定精度を向上させることができる。

実施形態１に係る情報処理装置の構成の一例を示すブロック図。 実施形態１に係る処理のフローチャート。 変状分離部の処理を説明する図。 変状分離部の処理を説明する図。 変状分離部の処理を説明する図。 領域設定部の処理を説明する図。 識別器の学習に用いる学習データを説明する図。 実施形態２で用いられるひび割れ長さに応じた処理を説明する図。 実施形態３で用いるＣＮＮについて説明する図。 実施形態３に係る情報処理装置の構成の一例を示すブロック図。 実施形態３における特徴量の抽出方法を説明する図。 各実施形態に係る処理を実現するコンピュータの構成の一例を示す図。 実施形態５における特徴量の抽出方法を説明する図。

以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。

［実施形態１］
実施形態１では、入力画像から変状部を検出し、さらに検出された変状部の属性情報を判定する情報処理装置及び情報処理方法について説明する。以下の実施形態では、変状部が検出された後に、変状部を含む入力画像の部分画像に関する特徴量を用いて変状部の属性が判定される。このような方法によれば、局所領域の画像情報のみを用いて変状部の属性を判定する場合と比較して、精度良く属性を判定することができる。例えば、ひび割れ幅を判定する場合であれば、ひび割れに沿った領域の画像情報から総合的にひび割れ幅を求めることにより、従来よりも精度良く最大ひび割れ幅を算出することができる。

本実施形態で用いられる入力画像は、被写体である構造物を撮影して得られた画像である。例えば、被写体は、橋梁、ダム、又はトンネル等のコンクリート構造物でありうる。もっとも、入力画像は、変状の検査が行われる検査対象である被写体の画像であり、被写体の種類は特に限定されない。例えば、入力画像は、道路のアスファルトの画像、又はビル等の建物の外壁の画像でありうる。また、以下では、入力画像が可視光画像（ＲＧＢ画像）である場合について説明する。しかしながら、画像の種類は限定されず、例えば赤外線カメラで撮影された熱画像、又はラインセンサカメラを用いて撮影された画像、等でありうる。

本実施形態では、コンクリート壁面のひび割れが変状部として検出される。また、判定される変状部の属性情報は、ひび割れのひび割れ幅である。しかしながら、検出対象の変状及び判定対象の属性情報は、これらに限定されない。例えば、検査対象がコンクリート構造物である場合、検出対象の変状は、遊離石灰の析出、剥落、割れ、ジャンカ、コールドジョイント、又は鉄筋露出などであってもよい。検出対象の変状がひび割れである場合、判定される属性情報は、ひび割れの危険度又はひび割れ発生の原因等を示す情報であってもよい。

図１には、情報処理装置１００の構成図を示す。情報処理装置１００の機能は、プロセッサ及びメモリを備える計算機が、ネットワーク又は記録媒体を介して取得したソフトウェア（プログラム）を実行することにより実現できる。計算機は汎用のコンピュータであってもよく、例えば図１２に示すコンピュータを用いることができる。図１２に示すコンピュータ１２００は、プログラムに従って処理を行うプロセッサ１２０１と、プログラムが展開されるメモリ１２０２と、プログラムを格納する記憶媒体１２０３を備える。また、図１２に示すコンピュータ１２００は、マウス等の入力装置が接続される入力インタフェース１０４、表示装置等の出力装置が接続される出力インタフェース１０５、及びバス１０６を備えている。一方、計算機として情報処理装置１００のために設計されたハードウェアを用いてもよい。

情報処理装置１００は、入力画像１０１を取得すると、変状部の検出結果である変状検出結果（ひび割れ検出結果）１０２と、変状の属性情報（ひび割れ幅）１０３と、を出力する。情報処理装置１００は、第１の抽出部１１１、変状判定部１１２、変状分離部１１３、領域設定部１１４、第２の抽出部１１５、及び属性判定部１１６を含む。

図２は、実施形態１に係る処理のフローチャートである。以下、図１及び図２を参照しながら、本実施形態について説明を行う。

ステップＳ２０１で、第１の抽出部１１１は入力画像１０１を取得する。入力画像には被写体が写っている。本実施形態において被写体はコンクリート壁面であり、入力画像１０１はコンクリート壁面の画像である。また、入力画像１０１には、被写体の変状部が写っているかもしれない。本実施形態において変状部とはひび割れのことを指す。

以下の説明を容易とするために、本実施形態においては、入力画像１０１に対しては以下のような加工が行われているものとする。まず、入力画像１０１は、コンクリート壁面に正対する視点からの画像である。構造物の撮影時における撮像装置の位置又は向きによっては、撮像装置がコンクリート壁面に正対した状態で画像を撮像できないことがあるが、画像の幾何変換処理を行うことによりこのような画像を作成することができる。また、入力画像１０１は、レンズの歪みを補正する処理が行われているものとする。さらに、入力画像１０１に対しては、実空間に対する画像の解像度が一定となるように拡大又は縮小処理が行われているものとする。例えば、このような処理により、１画素がコンクリート壁面の１ｍｍに対応する画像を得ることができる。このような変換及び補正は、既存の技術を用いて情報処理装置１００又は外部装置が行うことができるため、詳細な説明は割愛する。

ステップＳ２０２及びＳ２０３において、入力画像１０１中における変状領域の判定が行われる。変状領域の判定方法としては、検出しようとする変状の種類に応じて、公知の方法を含む任意の方法を用いることができる。例えば、色値が、入力画像１０１の平均色値から所定の閾値以上離れている領域を、変状領域として判定することができる。以下では、ひび割れ領域を検出するのに適した方法として、入力画像１０１の各位置から特徴量を抽出し、判定器を用いて特徴量を分類することにより、変状領域を判定する方法について説明する。こうして抽出される特徴量は、入力画像１０１のある位置における局所領域の特徴量であり、以下では局所特徴量と呼ぶことがある。

ステップＳ２０２において、第１の抽出部１１１は、入力画像１０１から変状部（ひび割れ）を検出するための画像特徴量を抽出する。特徴量の種類は特に限定されず、検出しようとする変状の特性に合わせて、公知技術を含む選択肢の中から適宜選択することができる。例えば、ひび割れを検出する場合には、画像エッジが存在すると値が変化するＨＯＧ(Histograms of Oriented Gradients)特徴量を用いることができる。ＨＯＧ特徴量は輝度勾配方向を示す特徴量であり、画像エッジと関連することから比較的ひび割れ検出に適した特徴量である。この場合、第１の抽出部１１１は、入力画像１０１中の、ある注目画素を中心とした所定の矩形領域からＨＯＧ特徴量を抽出することにより、着目画素についてのＨＯＧ特徴量を抽出する。第１の抽出部１１１は、入力画像１０１の各画素についてＨＯＧ特徴量を抽出することができる。

ステップＳ２０３において、変状判定部１１２は、入力画像に写っている被写体の変状部を検出する。本実施形態において変状判定部１１２は、入力画像１０１の各画素について、ステップＳ２０２で抽出された特徴量に基づいて、各画素が変状部を表しているか否かを判定する。この判定アルゴリズムも、検出しようとする変状の特性及び特徴量の種類に合わせて、公知技術を含む選択肢の中から適宜選択することができる。

本実施形態では、変状判定部１１２は、ステップＳ２０２で抽出されたＨＯＧ特徴量と、ＳＶＭ(Support Vector Machine)とを用いて、以下のように判定を行う。まず、変状判定部１１２は、注目画素が変状部を表している可能性（ひび割れらしさ）を表すスコアを算出する。例えば、ＳＶＭを用いて、識別平面からのＨＯＧ特徴量の距離を求め、この距離を注目画素のひび割れらしさを表すスコアとして用いることができる。このような処理を入力画像の各画素に対して行うことにより、各画素のスコアを表すスコアマップを得ることができる。そして、スコアが所定の閾値を超える場合に、この画素は変状部（ひび割れ）を表すと判定することができる。具体的には、スコアマップを所定の閾値を用いて閾値処理することにより、ひび割れスコアが高い画素で構成される領域を変状領域（ひび割れ領域）として特定することができる。

なお、変状判定部１１２が用いるＳＶＭは、予め、中心にひび割れが存在することが分かっている画像から抽出したＨＯＧ特徴量を用いて学習されているものとする。このようなＳＶＭの学習は公知の手法を用いて行うことができるため、詳細な説明は割愛する。

情報処理装置１００は、変状判定部１１２が判定した変状領域の位置を、変状検出結果１０２として出力してもよい。また、属性判定部１１６は、変状判定部１１２が判定した変状領域の画像に基づいて、後述するように変状部の属性情報１０３を求めてもよい。しかしながら、本実施形態においては、より精細な変状検出結果１０２を得るために、またより精細な変状部の属性情報１０３を得るために、変状分離部１１３及び領域設定部１１４による処理が行われる。

ステップＳ２０４において、変状分離部１１３は、ステップＳ２０３で検出された変状領域に基づいて、変状部の位置を検出する。本実施形態において、変状分離部１１３はさらに、入力画像１０１に写っている複数の変状部を個別に検出することができる。具体的には、変状分離部１１３は、ステップＳ２０３で検出された変状領域に含まれる２以上の変状を分離し、その位置を特定することができる。変状としてひび割れを検出する本実施形態においては、これは変状領域（ひび割れ領域）に含まれる変状（ひび割れ）を、個別の変状（１本ごとのひび割れ）に分解する処理に相当する。

図３は、ステップＳ２０４における処理の詳細を説明する図である。ステップＳ２０４の処理は、細線化サブステップ、ポリライン化サブステップ、及び分離サブステップを含む。以下、それぞれのサブステップについて説明する。図３（Ａ）は、ステップＳ２０３で検出されたひび割れ領域３０１を示す。ひび割れ領域３０１は、ひび割れスコアが所定の閾値以上である画素で構成される領域である。

細線化サブステップにおいて、変状分離部１１３は、ひび割れ領域３０１に対する細線化処理を行う。具体的には、変状分離部１１３は、ひび割れ領域を１画素幅に細線化する。この処理により、ひび割れの位置を特定することができる。細線化処理には、任意の公知のアルゴリズムを用いることができる。例えば、ひび割れ領域を１、背景を０とした２値化画像を作成し、Ｈｉｌｄｉｔｃｈアルゴリズムを適用することにより、細線化処理を行うことができる。

より正確にひび割れ位置を求めるために、変状分離部１１３は、変状判定部１１２が算出したひび割れスコアに基づいて細線化を行ってもよい。上述のように、スコアマップは、ひび割れ領域３０１の各画素についてのひび割れらしさを示すスコアを示す。したがって、変状分離部１１３は、スコアがピークとなる位置を細線が通るように細線化を行うことにより、最もひび割れを示す可能性が高い画素が含まれるように細線化を行うことができる。この処理には、例えば、エッジ検出処理の一つであるＣａｎｎｙ法で使われているＮＭＳ（Ｎｏｎ－Ｍａｘｉｍａｌ Ｓｕｐｐｒｅｓｓｉｏｎ）を適用することができる。Ｃａｎｎｙ法のＮＭＳを本実施形態に適用するには、変状分離部１１３は、各画素についてスコアの勾配方向を調べ、勾配方向において最大のスコアを有する画素を残す（最大のスコアを有さない画素は残さない）処理を実施することができる。なお、ＮＭＳによる細線化を実施しない実施形態においては、スコアマップは不要であるから、変状判定部１１２はひび割れ領域を１、背景領域を０で表す２値画像を出力してもよい。

以上の細線化サブステップにより、１画素の幅を有するひび割れ領域の検出結果３０２が導出される。このような細線化により得られた線状の検出結果３０２は、ひび割れの位置を示す線であるといえる。以下のポリライン化サブステップ及び分離サブステップにおいて、変状分離部１１３は、こうして得られた線を線の方向変化に応じて分割する。例えば、線の方向が閾値より大きく変化する箇所において、線を分割することができる。分解により得られたそれぞれの線は、個別のひび割れの位置を示す。このようにして、変状分離部１１３は、入力画像１０１に写っている複数のひび割れを個別に検出することができる。以下では、具体的な処理例について説明する。

ポリライン化サブステップでは、変状分離部１１３は、検出結果３０２を複数の線分で近似する。以下、複数の線分で表される線をポリラインと呼び、ポリラインを作成する処理をポリライン化と呼ぶ。１画素幅のひび割れ領域をポリライン化することにより、後に説明する個別のひび割れ領域（１本のひび割れ領域）の判定が行いやすくなる。また、検出したひび割れデータをポリラインデータとして保存することにより、データ量が削減できる、各ひび割れの長さを容易に算出できるなど、ひび割れデータの取り扱いが容易になる。

図４を用いて、ポリライン化について説明する。まず、図４（Ａ）の線４０１は、細線化ステップにおいて１画素幅に細線化されたひび割れ領域の検出結果である。まず、変状分離部１１３は、図４（Ｂ）に示すように、線４０１について、端点４０２、４０３、４０４、及び分岐点４０５を検出する。図４（Ｂ）において分岐点４０５は３本の線が分岐する点であるが。しかし、分岐点では４本以上の線が分岐していてもよい。

次に、変状分離部１１３は、端点又は分岐点で区切られるそれぞれの線に対してポリライン化処理を行う。図４（Ｃ）及び図４（Ｄ）は、変状分離部１１３が、端点４０２と分岐点４０５の間の線４１１に対してポリライン化の処理を行う様子を示す。ポリライン化処理のアルゴリズムは特に限定されないが、本実施形態ではＲａｍｅｒ－Ｄｏｕｇｌａｓ－Ｐｅｕｃｋｅｒアルゴリズムが用いられる。このアルゴリズムを用いた処理について、以下に説明する。

まず、端点４０２と分岐点４０５とを通る直線Ｌ_１が引かれる。次に、この直線Ｌ_１から最も遠い線４１１上の点４０６が求められ、この点４０６と直線Ｌ_１との距離ｄ_１が求められる。予め定められた所定の距離εよりも距離ｄ_１が大きい場合には、ポリラインを構成する点として点４０６が加えられる。

この場合、線４１１の一端（端点４０２）と新たに加えられた点４０６との間の線、及び線４１１の他端（分岐点４０５）と新たに加えられた点４０６との間の線、のそれぞれに対してポリライン化処理が再帰的に行われる。例えば、図４（Ｄ）に示すように、点４０２と点４０６を結ぶ直線Ｌ_２、点４０２と点４０６との間の線上で直線Ｌ_２から最も遠い点、この点と直線Ｌ_２との距離ｄ_２が順次求められ、距離ｄ_２がεと比較される。また、点４０６と点４０５との間の線についても、同様に直線Ｌ_３及び距離ｄ_３が求められ、距離ｄ_３がεと比較される。図４（Ｄ）の場合、ｄ_２はεよりも小さいため、点４０２と点４０６との間にはポリラインの点を加えずに処理が終了する。一方、ｄ_３はεよりも大きいため、点４０６と点４０５との間の線上で直線Ｌ_３から最も遠い点４０７が追加される。そして、点４０６と点４０７との間、及び点４０７と点４０５との間のそれぞれに対して、さらにポリライン化処理が行われる。

以上のようにして、端点４０２と分岐点４０５の間の線４１１がポリライン化される。このようなポリライン化の処理を全ての端点－端点間、端点－分岐点間、及び分岐点－分岐点間の線に対して実行することにより、図４（Ｅ）のように点４０２～４０９を通る線分で表される、ひび割れを示すポリラインが得られる。

以上の処理により、変状分離部１１３は図３（Ｃ）に示すポリラインを得ることができる。最後の分離サブステップにおいて、変状分離部１１３は、ひび割れを示すポリラインから、１本ごとのひび割れを特定する。例えば図３（Ｄ）は、図３（Ｃ）のポリラインで表現されたひび割れを、２つの個別のひび割れとして判定した結果を示す。このように、変状分離部１１３が１本のひび割れの範囲を特定する処理について、再び図４を参照して説明する。

図４（Ｅ）は、前述の通り、ポリラインで表現されたひび割れである。分岐点４０５においては３本のひび割れが分岐しているが、このうち２本のひび割れは連続した１本のひび割れを表すとみなせるかもしれない。変状分離部１１３は、分岐点において分岐している３本以上のひび割れのうち２つを、まとめるか否かを判定する。具体的には、図４（Ｅ）の例では、（１）端点４０２と分岐点４０５をつなぐポリライン、（２）端点４０３と分岐点４０５をつなぐポリライン、（３）端点４０４と分岐点４０５をつなぐポリライン、の３つのポリラインが存在する。１本のひび割れの範囲を特定するため、変状分離部１１３は、１本のひび割れとするために、分岐点４０５を通るどのポリラインを組み合わせるのかを判定する。

本実施形態で、変状分離部１１３は、分岐点４０５におけるポリライン間の角度を算出し、ポリライン間の角度が緩やかとなる組み合わせのポリラインを接続することにより、１本のひび割れを特定する。本実施形態で用いる方法は、１本の連続したひび割れの中では急激な方向の変化は発生しない、という知見に基づく。この処理を、図４（Ｅ）及び（Ｆ）を用いて具体的に説明する。

図４（Ｅ）において、変状分離部１１３は、端点４０２と分岐点４０５をつなぐポリラインと、端点４０３と分岐点４０５をつなぐポリラインと、の角度θ_１を算出する。本実施形態において、変状分離部１１３は、分岐点４０５に最も近い各ポリライン上の点（点４０７，点４０８）を用いて、点４０７－分岐点４０５－点４０８の間の角度を角度θ_１として求める。同様に、変状分離部１１３は、分岐点４０５に関する残りのポリラインの組み合わせについて、図４（Ｅ）に示すように角度θ_２及び角度θ_３を求める。なお、ポリライン間の角度の算出方法はこの方法に限られない。例えば、変状分離部１１３は、各ポリラインの始点と終点とを結ぶ線分同士がなす角をポリライン間の角度としてもよい。例えば、端点４０２と分岐点４０５をつなぐポリラインと、端点４０３と分岐点４０５をつなぐポリラインとの間の角度として、点４０２と点４０５とを結ぶ線分と、点４０３と点４０５とを結ぶ線分と、のなす角を算出してもよい。

変状分離部１１３は、以上のように算出したポリライン間の角度のうち、最も緩やかな角度を求める。例えば、ポリライン間の角度θ_ｎの値域を０＜θ_ｎ≦πとした場合、変状分離部１１３は最大の角度を持つポリラインの組み合わせを選択する。図４（Ｅ）においては、θ_１、θ_２、θ_３の中で、θ_２が最も大きい。θ_２は、端点４０２から分岐点４０５のポリラインと、端点４０４から分岐点４０５のポリラインとの間の角度であるから、これらのポリラインが接続され１本のひび割れとして扱われる。図４（Ｆ）は、以上の処理によって決定された２本のひび割れの範囲が示されている。すなわち、図４（Ｅ）のポリラインで示されたひび割れは、白丸と実線で表される１本のひび割れ４２０と、黒丸と波線で表される１本のひび割れ４２１と、に分離されている。点４０５は、ひび割れ４２０，４２１の双方に関することを示すため、白及び黒で表されている。

以上では、分岐点におけるポリライン間の角度を比較して、ポリラインを組み合わせて１本のひび割れとする処理について説明した。変状分離部１１３は、分離サブステップにおいて、さらにポリライン中における方向の変化を考慮して、１本のひび割れ範囲を決定する処理を行ってもよい。前述したように、１本の連続したひび割れにおいて、急激な方向の変化は発生しないことが多い。従って、ある点においてポリラインの方向が急激に変わる場合、この点でポリラインを分割し、２本のひび割れとして扱うことができる。具体的には、変状分離部１１３は、ポリラインの各点においてポリラインがなす角度を算出し、この角度が予め定められた閾値を下回る場合、この点においてポリラインを分割することができる。

この処理について、図５を用いて説明する。ここでは、図５（Ａ）のように細線化の結果として線５０１が得られ、ポリライン化により図５（Ｂ）に示すポリラインが得られたものとする。まず、変状分離部１１３は、ポリライン中の各点におけるポリラインの角度を算出する。例えば、点５１１における角度はθ_４である。変状分離部１１３は、これらの各点での角度θ_ｎを予め設定された角度θ_ｔｈと比較し、θ_ｎ＜θ_ｔｈとなる場合にこの点でポリラインを分割する。図５（Ｂ）は、点５１２の角度θ_５が、θ_５＜θ_ｔｈとなる例を示す。この場合、変状分離部１１３は、線５０１で表されていた１つのひび割れを、図５（Ｃ）のように、点５１２が２つのひび割れの境界となるように、ひび割れ５２１とひび割れ５２２の２本のひび割れに分割する。

この角度θ_ｔｈは、ユーザが経験的に、１本のひび割れに含まれないと想定される角度を設定することができる。別の設定方法として、人間によって確認が行われたポリラインのひび割れデータを十分な量を用意して、角度θ_ｔｈを統計的に求めることができる。この場合、ポリラインの各点における角度と、各点を人間がひび割れの分割点と判定したか、ひび割れが連続する点と判定したか、を示す情報が収集される。そして、分割点と連続点とを最も良く判別できる閾値の角度θ_ｔｈを求めることができる。このような最も良く判別できる角度は、判別分析法などの公知の手法を用いて求めることができる。また、分割点と判定された点における角度データが十分収集できない場合には、連続すると判定された点における角度データのみから、判別基準を決定することもできる。一例として、連続すると判定された点における角度データ分布を用い、正規分布を仮定した際に３σとなる角度を求め、この角度をθ_ｔｈとして用いることができる。

以上説明したように、ステップＳ２０４において、変状分離部１１３は、ステップＳ２０３で検出された変状領域（ひび割れ領域）から、１つずつの変状部（１本ごとのひび割れ）を特定する。なお、ひび割れ以外の変状を検出する場合も、変状の性質に合わせた適切な方法で個別の変状部を特定することができる。例えば、コンクリートのポップアウトを検出する場合、パターンマッチングにより変状領域から２つ以上の変状部を検出することができる。

以降は、ステップＳ２０５～Ｓ２０８の処理について説明する。ステップＳ２０５～Ｓ２０８の処理は、ステップＳ２０４までに検出された変状部（ひび割れ）について行われる。ステップＳ２０４までに２つ以上の変状部が検出されている場合、ステップＳ２０５～２０７の処理は、１つの変状部について順次行われる。すなわち、１つの変状部が選択され、選択された変状部についてステップＳ２０５～Ｓ２０７の処理が行われる。ステップＳ２０８では、まだ処理が実行されていない変状部があるか否が判定され、処理が実行されていない変状部が存在する場合には、この変状部が選択されてステップＳ２０５～２０７の処理が行われる。

まず、ステップＳ２０５の処理について説明する。領域設定部１１４は、変状部の属性情報を算出するために用いる領域を設定する。こうして設定された領域について、ステップＳ２０６において特徴量の算出が行われる。この領域は、変状部を含む画像領域であって、以下ではＲＯＩ(Region of Interest)と呼ぶ。より具体的には、領域設定部１１４は、ステップＳ２０４までに検出された変状部の位置に従って、入力画像１０１から抽出される変状部の部分画像の領域（ＲＯＩ）を設定する。その設定方法は、検出する変状の種類に応じて適宜選択できる。

例えば、領域設定部１１４は、ステップＳ２０４までに検出された変状部の位置に相当する画素群を、ＲＯＩとして設定することができる。本実施形態においては、ステップＳ２０４において１つの変状部（１つのひび割れ）を表すポリラインが得られている。したがって、領域設定部１１４は、このポリラインが通る画素群をＲＯＩとして設定することができる。

ＲＯＩは、変状部の位置に相当する画素群で構成される領域よりも大きくてもよく、例えばこの領域に対する拡大処理を行うことにより設定することができる。変状としてひび割れを検出する際におけるＲＯＩの設定方法の具体例を、図６を参照して説明する。図６においては、白丸と実線で表された１本のひび割れ６０１に対するＲＯＩ６０２として、ひび割れからｘ画素の範囲内にある領域が設定されている。パラメータｘは、予め設定された数値であり、例えばｘ＝５画素とすることができる。このように、本実施形態において、ＲＯＩはひび割れの位置を中心としたひび割れの周辺画像領域である。

このように、変状部よりも広い領域をＲＯＩとして設定することにより、変状部の属性情報の判定精度を向上させることができる。例えば、ひび割れ部分のコンクリート表面が剥離している場合（欠けている場合）、又はひび割れがコンクリート表面に何らかの理由で生じた穴を通る場合等において、実際よりもひび割れ幅を太く判定してしまう可能性を減らすことができる。また、検出したひび割れ位置、例えばポリライン化の結果、が実際のひび割れ位置から数画素ずれている場合にも、正しいひび割れ幅を判定しやすくなる。

次に、ステップＳ２０６の処理について説明する。ステップＳ２０６において、第２の抽出部１１５は、ＲＯＩから特徴量を抽出する。具体的には、第２の抽出部１１５は、入力画像中のＲＯＩにおける画像から画像特徴量を抽出する。以下、この特徴量のことを変状特徴量と呼ぶ。特徴量の抽出方法は、検出しようとする変状及びその属性情報の種類に応じて適宜選択することができる。

一実施形態においては、ステップＳ２０７における属性情報の算出処理を容易とするために、ＲＯＩのサイズ（たとえひび割れの長さ）にかかわらず一定の次元を有する特徴量が用いられる。本実施形態においては、ＲＯＩのサイズにかかわらず、所定次元を有する特徴量を抽出するために、第２の抽出部１１５はＲＯＩの画像からヒストグラム特徴量を抽出する。具体的には、第２の抽出部１１５は、各画素の画素値に基づいて、予め設定したｂｉｎ（すなわち複数の数値範囲）に従ってＲＯＩに含まれる全画素のヒストグラムを作成し、ｂｉｎごとの画素数で表されるヒストグラム特徴量を得ることができる。この場合、ｂｉｎ数が特徴量の次元となるため、ヒストグラム特徴量は、ＲＯＩのサイズに関わらず、常に同じ次元数を有する。なお、ステップＳ２０７における処理を容易とするために、画素値は最大値等に基づいて正規化することができる。画素値としては色情報を表す任意の値を用いることができ、例えばグレースケール画像における輝度値、カラー画像における色値の平均値、又はＹＵＶ色空間におけるＹ値、等を用いることができる。また、ヒストグラム特徴量を作成するために用いる画素情報は、画素値には限定されない。例えば、各画素について画素値の勾配方向を求め、勾配方向のヒストグラムを作成することにより、ヒストグラム特徴量を求めてもよい。

また、第２の抽出部１１５は、ＲＯＩ中の全ての画素を用いる代わりに、ＲＯＩ中の一部の画素を用いてヒストグラム特徴量を作成してもよい。例えば、ＲＯＩ中の画素から、１画素おきに画素を選択し、選択された画素を用いてヒストグラムを作成してもよい。さらに、別のヒストグラム特徴量の作成方法として、第２の抽出部１１５はＢｏＷ(Bag of Words)又はＢｏＦ(Bag of Features)と呼ばれる手法を用いてヒストグラム特徴量を抽出してもよい。この場合、予め多数のＲＯＩから複数のビジュアルワードを作成しておき、処理対象となるＲＯＩ中の画像におけるビジュアルワードの出現頻度をヒストグラム化することができる。ＢｏＷ等を用いたヒストグラム特徴の作成は、公知の技術に従って行うことができるため、その詳細は割愛する。

以上の処理により、１つの変状部について、属性情報を判定するための変状特徴量ｖが得られる。以上のように、変状特徴量は、ＲＯＩ中の各画素の情報を用いて算出される点で、１つの画素の周辺領域から求められる局所特徴量とは異なる。本実施形態においては、変状特徴量は、局所特徴量とは異なる方法で算出されている。

ステップＳ２０７において属性判定部１１６は、変状部の部分画像から抽出された、例えば上述のヒストグラム特徴量のような変状特徴量ｖを用いて、変状部の属性情報を判定する。属性判定部１１６は、複数の変状部のそれぞれについて属性を判定することができる。特徴量を用いた属性の判定方法は特に限定されないが、本実施形態では、多クラス識別を用いる方法について説明する。すなわち、予め学習された、特徴量に対応するクラスを与える識別器を用いることにより、変状部の属性が複数のクラスのいずれに属するかが判定される。

以下では、ひび割れ幅の判定を行う場合について特に説明する。多クラス識別を用いてひび割れ幅を判定するために、予め複数のひび割れ幅の範囲（クラス）が設定される。例えば、０．５ｍｍ幅未満のクラス１、０．５ｍｍ以上１．０ｍｍ未満のクラス２、１．０ｍｍ以上２．０ｍｍ未満のクラス３、及び２．０ｍｍ以上のクラス４を設定することができる。ひび割れ幅のクラスはこのような数値には限らず、任意の区間を設定することができる。属性判定部１１６は、あるひび割れについて、ひび割れ幅がどの範囲（クラス）に該当するかを判定する。

属性判定部１１６では、変状特徴量ｖを入力として、クラスラベルｃを出力する識別器Ｆを用いて、判定を行う。
ｃ＝Ｆ（ｖ）
この結果、例えばｃ＝２と判定された場合には、ひび割れ幅はクラス２のひび割れ幅「０．５ｍｍ以上１．０ｍｍ未満」と判定される。この判定結果が、情報処理装置１００が出力する変状部の属性情報１０３となる。

属性判定部１１６は、以下のように学習が行われた識別器Ｆを用いて、変状部の部分画像から抽出された変状特徴量から、変状部の属性を判定することができる。以下の学習処理は、情報処理装置１００が備える学習部（不図示）、又は別個の学習装置として動作する情報処理装置（不図示）が行うことができる。このような学習装置は、例えば図１２に示すコンピュータ１２００を用いて実現することができる。

識別器Ｆは、ひび割れ幅が教師データ（正解となるクラスを示すラベル）として与えられた特徴量データを用いて、予め学習されている。図７は、識別器Ｆの学習に用いるデータを説明する図である。図７（Ａ）は、１本のひび割れ７０１と、そのひび割れから分岐したもう１本のひび割れ７０２を含む画像を示す。所定以上の長さのひび割れにおいては、ひび割れ幅は一律ではなく、位置によってひび割れ幅が異なる傾向にある。例えば、図７（Ａ）のひび割れ７０１は、幅が０．１５ｍｍの部分、０．６０ｍｍの部分、及び０．１０ｍｍの部分を有している。ひび割れの重要度を判断する際には、そのひび割れの最も広い幅（最大ひび割れ幅）が重要となるため、本実施形態においては、１本のひび割れについてその最大ひび割れ幅を判定する。なお、図７（Ａ）に示す画像データは、ステップＳ２０１と同様の拡大縮小処理等が行われているものとする。

以下に、属性情報（最大ひび割れ幅）の学習を行うための学習データについて説明する。学習データは、ひび割れの画像と、ひび割れ幅のクラスラベルを含む教師データと、で構成される。このような学習データは、以下のように準備することができる。まず、人間は、図７（Ａ）のひび割れ画像を見て、ひび割れ位置とひび割れ幅の情報を入力する。図７（Ｂ）は、これらの情報の入力方法を説明する図である。図７（Ｂ）に示すように、人間は、図７（Ａ）に示されるひび割れの位置を入力する。例えばデータの作成者は、１つのひび割れが位置する画素を指定し、また別のひび割れが位置する画素を指定することができる。また、入力の労力を低減できる別の方法として、データの入力者は、ひび割れを線分で近似するための点７３０等を入力することにより、それぞれのひび割れの位置をポリライン７１１，７１２として入力することができる。次に、データの入力者は、それぞれのひび割れについて、最大ひび割れ幅を示すラベルを与える。例えば、図７（Ａ）のひび割れ７０１の最大ひび割れ幅は０．６０ｍｍであるため、入力者は「ひび割れ幅０．５ｍｍ以上１．０ｍｍ未満」のクラスラベルＣ２を与える。また、ひび割れ７０２の幅は０．１５ｍｍであるため、入力者は「ひび割れ幅０．５ｍｍ未満」のクラスラベルＣ１を与える。こうして、学習装置の取得部は、入力画像（ひび割れの画像）中の変状部（ひび割れ）の位置と、変状部の属性情報（最大ひび割れ幅）とを取得する。

以上のようにして、ひび割れの画像（図７（Ａ））と、ひび割れ位置とひび割れ幅のクラスラベルを含むデータ（図７（Ｂ））が大量に準備される。その後、これらのデータに基づいて、１本のひび割れについての画像特徴量とクラスラベルとのセットが用意され、このセットを用いてひび割れ幅を判定するための識別器Ｆの学習が行われる。１本のひび割れについての画像特徴量の抽出は、ステップＳ２０５，Ｓ２０６と同様に行うことができる。学習装置の抽出部は、変状部の位置（ひび割れ位置）と抽出パラメータ（ｘ）に従って規定された範囲（ＲＯＩ）から、変状部を含む入力画像の部分画像を抽出する。具体的には、図７（Ｂ）に示すポリライン７１１が示すひび割れ位置に基づいて、ひび割れの周辺ｘ画素の範囲にＲＯＩ７２１が設定され、このひび割れの画像（図７（Ａ））のうちＲＯＩに相当する範囲の画像から画像特徴量ｖが抽出される。このような画像特徴量の抽出処理を大量に準備されたひび割れの画像に含まれるそれぞれのひび割れに対して行うと、以下のデータＶが得られる。また、上述のように、それぞれのひび割れのクラスラベルを示す以下のデータＶも得られている。
Ｖ＝｛ｖ_１，ｖ_２，…，ｖ_ｍ，…，ｖ_ｎ｝
Ｃ＝｛ｃ_１，ｃ_２，…，ｃ_ｍ，…，ｃ_ｎ｝
ここで、ｎはデータの入力者によって位置が入力された全てのひび割れ画像中のひび割れの総数であり、ｖ_ｍはｍ番目のひび割れの画像特徴量、ｃ_ｍはｍ番目のひび割れについてひび割れ幅を示すクラスラベルである。このように、画像特徴量と、ひび割れ幅を示すクラスラベルと、のセットがｎ個含まれるデータが準備される。

識別器Ｆに対しては、このデータセットを用いて、画像特徴量を入力としたときのクラス（ひび割れ幅）判定の学習が行われている。すなわち、学習装置の学習部は、抽出された部分画像の特徴量（画像特徴量ｖ）を入力とした時に、変状部の属性情報（ｃ）を返すように、識別器の学習を行う。識別器が用いる識別方法は、多クラス識別が実施できるのであれば、どのような方法でもよい。例えば、ＳＶＭを用いて、Ｏｎｅ－ｖｅｒｓｕｓ－ｔｈｅ－ｒｅｓｔの手法を用いることができる。あるいは、Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅ、又はｋ近傍法などを用いることもできる。

学習装置による画像特徴量ｖの抽出に用いられたパラメータｘは、第２の抽出部１１５によるＲＯＩの設定に用いることができる。したがって、一実施形態において、学習装置の関連付け部は、学習により得られた識別器の構成を示す情報（例えば識別器のパラメータ）と、抽出パラメータｘとを、関連付けることができる。学習装置は、こうして関連付けられた情報を、保持してもよいし、第２の抽出部１１５に供給してもよい。

ステップＳ２０８において、属性判定部１１６は、まだひび割れ幅が判定されていないひび割れが残っているか否かを判定する。残っている場合、処理はステップＳ２０５へ戻る。この場合、他のひび割れが選択されてそのひび割れ幅が判定される。全てのひび割れについてひび割れ幅が判定されると、図２の処理は終了する。

情報処理装置１００は、上述のように、変状検出結果１０２を得ることができる。情報処理装置１００は、変状検出結果１０２を出力することができ、その方法は限定されない。例えば、情報処理装置１００は、表示装置（不図示）上で、検出された変状部の位置（例えばひび割れの位置）を入力画像１０１に重畳表示することができる。この際には、変状分離部１１３の処理結果に従い、別個のひび割れを区別可能なように表示を行うことができる。

また、情報処理装置は、上述のように、変状部の属性情報１０３を得ることができる。情報処理装置１００は、変状部の属性情報１０３を出力することができ、その方法は限定されない。例えば、情報処理装置１００は、表示装置（不図示）上に、変状部の属性情報を表示することにより、ユーザに閲覧させることができる。表示方法の一例としては、入力画像１０１に検出した変状部の位置（例えばひび割れ位置）を重畳表示するとともに、その近傍に判定された属性情報（例えばひび割れ幅）を表示することができる。別の例として、入力画像１０１にひび割れを示す線状のマーカを重畳表示し、このマーカの色又は太さを判定された属性情報（例えばひび割れ幅）に応じて変更することができる。さらなる別の例として、ユーザがひび割れをマウスカーソル等で選択した場合に、ポップアップ表示等を用いてひび割れ幅の情報を表示することもでき、ユーザがひび割れのプロパティの表示を命令した場合に、ひび割れ幅の情報を表示することもできる。さらには、情報処理装置１００は、入力画像のうちどの範囲の画像情報を用いてひび割れ幅の判定を行ったかを、ユーザに示してもよい。この場合、各ひび割れについてのＲＯＩの範囲を画像に重畳表示することができる。このように、情報処理装置１００が備える表示部（不図示）は、変状部の検出結果と、変状部の属性と、変状部の部分画像（ＲＯＩ）の位置を示す情報と、を表示装置に表示させることができる。

また、情報処理装置は、属性情報の判定の信頼度を出力してもよい。例えば、属性判定部１１６は、判定された属性情報とともに、判定の信頼度を出力することができる。このようにして、属性情報の判定の信頼度をユーザに表示することができる。この場合、判定の信頼度は、例えば、ＳＶＭを識別器として用いて属性情報を判定する場合、変状特徴量の識別平面からの距離でありうる。しかしながら、信頼度はこれに限られず、例えば尤度又は確率などであってもよい。信頼度としては、識別器のアルゴリズムに応じて適切な指標を用いることができる。この信頼度を前述の属性情報と合わせて表示装置に表示することにより、ユーザは判定された属性情報の確からしさを確認することができる。

信頼度の表示方法は特に限定されない。例えば、属性情報とともに信頼度（例えば信頼度を示す数値）をポップアップ表示することができる。また、ひび割れを線状のマーカで表す場合、線状のマーカを用いて判定の信頼度も表すこともできる。例えば、ひび割れの幅を線状マーカの色で表す一方で、判定の信頼度を線状マーカの色の濃さ又は明るさで表すことができる。

さらに、変状部の属性情報の信頼度が所定値以下である場合、この変状部を強調表示してもよい。例えば、変状部の位置に確認を促すポップアップを表示する、又は画像に重畳表示した変状部を示すマーカを点滅表示する等の方法で、有する属性情報の信頼度が低い変状部に対する注目を促すように、変状部が強調された表示態様で表示を行うことができる。このような構成によれば、ユーザが信頼度の低い判定結果に着目しやすくなる。また、信頼度が低い判定結果については、ユーザが判定結果を確認し、必要であれば修正を行うことが容易になる。

本実施形態の方法によれば、１つの変状部について属性情報を判定する場合に、広い範囲の画像に基づいて判定が行われる。例えば、ひび割れの太さを判定する場合に、１本のひび割れ全体の特徴量に基づいてひび割れ幅を判定することができる。このため、局所的にひび割れが太く見える場合であっても、その影響を受けにくいひび割れ幅判定が可能になる。

［変形例］
以下では、実施形態１の変形例について説明する。もっとも、以下の変形例は、実施形態２～４に適用してもよい。

実施形態１では、ひび割れ幅は複数のクラスに分類され、ひび割れ幅のクラスを求めることによりひび割れ幅が判定された。他の実施形態として、回帰分析により実数値としてひび割れ幅を判定してもよい。この場合、属性判定部１１６は、識別器Ｆとして回帰モデルを用いることができる。また、説明変数としてひび割れ領域のＲＯＩの画像特徴量が、目的変数として最大ひび割れ幅の実数値が用いられる。学習は、１本のひび割れ画像の特徴量と、実数値で入力されたひび割れの最大ひび割れ幅と、のセットを用いて行うことができる。回帰モデルには、ＳＶＲ(Support Vector Regression)、ランダムフォレスト、ｋ近傍法、又はニューラルネットワークなどの手法を用いることができる。

実施形態１では、ひび割れ幅の属性情報として最大ひび割れ幅が判定された。しかし、判定される判定対象のひび割れ（変状部）の属性情報はこれに限定されず、例えば平均ひび割れ幅、危険度、又はひび割れ発生の原因等を判定してもよい。教師データ（ラベル）として、最大ひび割れ幅の代わりに、判定したい属性情報を用意することにより、判定する属性情報を変更することができる。

また、属性判定部１１６は、属性判定処理を用いて、ステップＳ２０２～２０４における変状検出結果を検証してもよい。例えば、属性判定部１１６が判定する複数の属性情報のクラスに、変状部が誤検出されていることを示すクラスを含めることができる。具体的には、属性判定部１１６が判定するひび割れ幅クラスに、「誤検出」というクラスを追加することができる。そして、属性判定部１１６が判定した変状部（例えばひび割れ）のクラスが「誤検出」であった場合、属性判定部はこの変状部が誤検出されたと判定することができる。この場合、属性判定部１１６はこの変状部の検出結果を消去することができ、例えば表示装置（不図示）にこのひび割れの検出結果が表示されないように表示制御を行うことができる。このような検証を行うためには、以下のように識別器の学習を行うことができる。すなわち、上述のように用意された変状部の特徴量と変状部の属性情報を示すクラスラベルとのセットに加えて、変状部とは関係のない画像部分に設定したＲＯＩから抽出された特徴量と「誤検知」のラベルとのセットを用いて、学習を行うことができる。このような方法により、変状部と関係ない画像についての特徴量が入力されたとき、すなわち変状部を誤検出していた場合、識別器は変状部が「誤検出」であると判定できるようになる。

実施形態１では、入力画像は１画素が１ｍｍに対応するように予め補正されていた。一方、異なる解像度の画像の入力を受け付けてもよい。この場合には、解像度に合わせて選択された識別器を用いることができる。例えば、第１の解像度の学習データを用いて、ひび割れ検出のための識別器と、ひび割れ幅判定のための識別器を学習しておく。また、第２の解像度の学習データを用いて、同様に識別器を学習しておく。こうして、例えば１画素が１ｍｍに対応する解像度向けの識別器、又は１画素が０．５ｍｍに対応する解像度向けの識別器等、解像度に応じた識別器を用意することができる。そして、入力された画像の解像度に応じて識別器を切り替え、ひび割れの検出及びひび割れ幅の判定を行うことができる。入力画像の解像度は、ユーザが明示的に入力してもよいし、入力画像から自動的に解像度を推定してもよい。自動的に解像度を推定する方法としては、入力画像に写っている基準物の画像中でのサイズに基づいて、解像度を推定する方法が挙げられる。この基準物としては、例えば、クラックスケール等を利用することができる。このように、解像度に応じて自動又は手動で識別器を選択する場合、どの識別器が選択されたかを表示装置（不図示）に表示することができる。この場合、選択された識別器が対応する解像度、識別器の名称、又は識別器のＩＤ等を表示することができる。

また、この場合、入力画像の解像度に応じてＲＯＩの範囲を決定するパラメータｘ（図６又は図７）を変更することにより、属性の判定精度を高めることができる。上述の例においては、パラメータｘは変状部を中心とした画素数を表すため、入力画像の解像度が変化しても検出対象の同じ部分をＲＯＩとするためには、解像度に合わせてパラメータｘを変化させる必要がある。したがって、解像度ごとに用意された識別器のそれぞれに適したパラメータｘを合わせて保持しておき、学習時及び識別時にパラメータｘに基づいてＲＯＩを設定することができる。この場合、前述のように、各ひび割れについてのＲＯＩの範囲を画像に表示することにより、どの範囲から変状特徴量が抽出されたのかをユーザが容易に理解できるようになる。さらに、利用したパラメータｘを表示装置に表示してもよい。

前述したが、検出する変状及び判定する属性情報は、ひび割れ及びひび割れ幅に限定されない。例えば、壁面検査のみに関しても、検出する変状の例としては、遊離石灰の析出、剥落、割れ、ジャンカ、コールドジョイント、又は鉄筋露出などが挙げられる。また、判定する属性情報としては、検出した変状の危険度、又は変状発生の原因なども挙げられる。これらの変状の検出及び属性の判定を行う場合に用いる特徴量としては、ひび割れを検出対象とする場合について説明した上述の特徴量を用いてもよいし、各変状に適した特徴量を別途抽出してもよい。もちろん、本実施形態の方法の適用例は壁面検査に限定されず、任意の変状検出に適用することができる。

実施形態１では、ひび割れを１本ずつに分離してそれぞれについてひび割れ幅が検出された。しかしながら、ひび割れの分離方法はこの方法に限定されない。例えば、ポリラインのうち分岐点で区切られたそれぞれの区間を１つのひび割れとして扱い、ポリラインの端点と分岐点との間、及び分岐点と分岐点との間のひび割れのそれぞれについて、属性情報を算出してもよい。また、ポリラインを構成する点の間（１つの線分）を１つのひび割れとして扱い、その属性情報を算出してもよい。

さらには、情報処理装置１００は、ひび割れ幅の判定を阻害する穴又は剥離等の変状を検出する構成を別途備えていてもよい。この場合、穴又は剥離の部分を避けるようにＲＯＩを設定することにより、より正確にひび割れ幅の判定を行うことができるようになる。

［実施形態２］
実施形態２では、変状部の大きさに応じて、異なる変状特徴量の抽出方法を用いる。すなわち、検出された変状部の大きさに応じて選択された方法に従って、変状部の部分画像から特徴量が抽出される。そして、抽出された特徴量を用いて、変状部の属性が判定される。以下では実施形態１と同様に、画像からひび割れを検出してひび割れの最大ひび割れ幅を判定する例について説明する。本実施形態では、ひび割れの長さに応じて、異なる変状特徴量の抽出方法が用いられる。例えば、長いひび割れの属性を判定する場合には、短いひび割れの属性を判定する場合と比べてより広い領域から特徴量が抽出されるが、この際に表現能力が高い特徴量を用いることにより判定制度を向上させることができる。

以下では、図１に示す第２の抽出部１１５及び属性判定部１１６が本実施形態で行う処理について説明する。その他の処理は、実施形態１と同様に行うことができるため、説明を省略する。すなわち、ステップＳ２０１～Ｓ２０５においては、実施形態１と同様に、変状部（ひび割れ）の検出及びそれぞれの変状部についてＲＯＩの設定が行われる。図８（Ａ）～（Ｃ）は、ステップＳ２０５までの処理で得られた、ポリライン化されたひび割れ８０１，８１１，８１２、及びＲＯＩ８０２，８１２，８２２を示す。

ステップＳ２０６において、第２の抽出部１１５はまず、それぞれの変状部について、変状部の大きさを算出する。本実施形態において第２の抽出部１１５は、それぞれのひび割れについてひび割れ長さＬを算出する。ひび割れ長さＬとしては、例えば、ひび割れを表現するポリラインの総延長を用いることができる。ひび割れ長さＬの算出方法はこれに限られず、例えばひび割れ長さＬとしてＲＯＩのサイズ（例えば面積）を用いることもできる。

次に、第２の抽出部１１５は、変状部の大きさに応じて、使用する変状特徴量の抽出方法を設定する。本実施形態において、第２の抽出部１１５は、それぞれのひび割れを、ひび割れ長さＬと予め設定した閾値Ｌ_ｔｈとに基づいて分類する。図８は、ひび割れを長さに応じてＬ１、Ｌ２、及びＬ３の３種類のカテゴリに分類する例を示している。具体例としては、ひび割れ長さＬが０＜Ｌ＜Ｌ_ｔｈ１の範囲にある場合、ひび割れ８０１は最も短いカテゴリＬ１に分類される（図８（Ａ））。同様に、ひび割れ長さＬがＬ_ｔｈ１＜Ｌ＜Ｌ_ｔｈ２の範囲にあるひび割れ８１２はカテゴリＬ２と判断され（図８（Ｂ））、Ｌ_ｔｈ２＜Ｌの範囲にあるひび割れ８０２はカテゴリＬ３と判断される（図８（Ｃ））。このようにして、図８に示すひび割れ８０１，８１１，８２１がそれぞれ異なるひび割れ長さのカテゴリに分類されたとする。

実施形態２において、第２の抽出部１１５は、このように変状部の大きさ（ひび割れ長さ）に応じて変状部（ひび割れ）のカテゴリを決定し、カテゴリごとに異なる方法を用いて変状特徴量を抽出する。例えば、第２の抽出部１１５は、ひび割れ８０１の変状特徴量ｖ_Ｌ１を、実施形態１と同様にＲＯＩ８０２に対応する画像のヒストグラムを作成することにより抽出する。ここで、この変状特徴量ｖ_Ｌ１は、ｄ個のｂｉｎを有する輝度ヒストグラムに基づいて作成したｄ次元の特徴量である。

一方、ひび割れ８１１は、ひび割れ８０１よりも長い。本実施形態では、カテゴリＬ２に含まれるひび割れに関しては、ひび割れの長さに合わせて変状特徴量の特徴表現能力が増加するように、変状特徴量の抽出が行われる。具体例として、第２の抽出部１１５は、以下のようにしてＲＯＩ８１２から変状特徴量ｖ_Ｌ２を抽出することができる。すなわち、第２の抽出部１１５は、まずＲＯＩ８１２を複数の領域に分割する。図８（Ｂ）では、領域分割線８１３，８１４によって、ＲＯＩ８１２は３つのサブ領域８１５，８１６，８１７に分割されている。次に、第２の抽出部１１５は、このサブ領域のそれぞれに対して実施形態１と同様の方法を適用することにより、サブ領域８１５，８１６，８１７のそれぞれから、ｄ個のｂｉｎを有するヒストグラムに基づく変状特徴量（ｄ次元特徴量）を抽出する。そして、第２の抽出部１１５は、この３つのｄ次元の変状特徴量を連結することにより、ＲＯＩ８１２の変状特徴量として３ｄ次元の特徴量を得ることができる。第２の抽出部１１５はまた、ひび割れ８２１の変状特徴量として、ＲＯＩ８２２を４つのサブ領域に分割し、同様の手法を用いて４ｄ次元の特徴量を得ることができる。

このように、本実施形態において第２の抽出部１１５は、小さい変状部（例えば短いひび割れ８０１）から抽出した特徴量よりも、大きい変状部（例えば長いひび割れ８２１）から抽出した特徴量の方が次元が大きくなるように、特徴量の抽出を行う。この方法によれば、ひび割れ長さのカテゴリに応じて異なる次元の特徴量が抽出され、長いひび割れについて抽出される特徴量は特徴の表現能力が向上する。上述の方法において、ＲＯＩの分割方法は特に限定されないが、例えば、ひび割れの長さに沿って等間隔に分割を行うことができ、また分割後のサブ領域の画素数が同数になるように分割を行うことができる。

実施形態２では、ひび割れ長さのカテゴリごとに異なる次元数を有する変状特徴量に対応するために、属性判定部１１６は、それぞれのカテゴリについて異なる識別器Ｆを用いてひび割れ幅（属性情報）の判定を行う。図８の例では、カテゴリＬ１のひび割れから抽出されたｄ次元の変状特徴量を用いて判定を行う識別器Ｆ_Ｌ１が用いられる。また、カテゴリＬ２のひび割れから抽出された３ｄ次元の変状特徴量を用いて判定を行う識別器Ｆ_Ｌ２も用いられる。さらに、カテゴリＬ３のひび割れから抽出された４ｄ次元の変状特徴量を用いて判定を行う識別器Ｆ_Ｌ３も用いられる。それぞれの識別器は、学習データをひび割れ長さに応じて各カテゴリに分離し、対応するカテゴリの学習データ（変状特徴量及びひび割れ幅の情報）を用いて学習を行うことにより、予め用意されている。

以上のようにして、変状の大きさ（ひび割れ長さ）に応じて、異なる特徴抽出方法を用いて変状特徴量を抽出することができる。なお、変状特徴量の具体的な抽出方法は、上記の方法には限定されない。例えば、ひび割れ長さに応じたひび割れのカテゴリ数、及び各カテゴリについてのＲＯＩの分割数は、任意に決定できる。また、ＲＯＩの分割を等間隔に行う場合について説明したが、この方法には限定されず、例えばひび割れの中心付近においてサブ領域が小さくなるように分割することもできる。

［実施形態３］
実施形態１，２では、変状特徴量は入力画像から抽出された部分画像のヒストグラムに基づいて抽出された。このように、変状特徴量は入力画像から直接抽出することができる。しかしながら変状特徴量は入力画像の部分領域から抽出されたものに限定されず、部分領域に関する特徴量であればよい。実施形態３では、変状特徴量がＣＮＮ(Convolutional Neural Network)を用いて作成した特徴マップから抽出される。なお、実施形態３でも、実施形態１，２と同様に、ひび割れを変状部として検出し、ひび割れ幅を変状部の属性情報として判定する場合の例について説明する。

本実施形態では、ＣＮＮを用いて入力画像と同サイズの特徴マップが作成される。ＣＮＮのアーキテクチャは特に限定されないが、以下では実施形態３で用いるＣＮＮの一例について図９を用いて説明する。図９は、Hariharan et al. "Hypercolumns for Object Segmentation and Fine-Grained Localization" The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2015.に開示されているハイパーコラムと呼ばれているアーキテクチャを示す。このアーキテクチャでは、まず、図９に示すように、幅ｗ高さｈの入力画像９００がベースとなるＣＮＮ９０１（以下、ベースＣＮＮと呼ぶ）に入力される。次に、ベースＣＮＮ中の複数の中間層から出力が分岐される。入力画像サイズとは異なるサイズの中間層からの出力に対しては、分岐時にサンプリングが行われ、こうして入力画像サイズと同サイズの中間層９０２～９０５が得られる。例えば、プーリングにより入力画像サイズよりも小さなサイズとなっている中間層については、分岐時にアップサンプル（リサイズ）が行われる。そして、これらの中間層９０２～９０５を連結することで、特徴マップ９０６が作成される。特徴マップ９０６は、入力画像９００と同サイズの幅ｗと高さｈを有し、中間層９０２～９０５のチャネル数の和であるｎチャネルのマップである。特徴マップ９０６のある画素における特徴量は、例えばｎ次元のベクトル９０７で表される。

ＣＮＮアーキテクチャの別の例として、ベースＣＮＮの部分には、Ａｌｅｘ Ｎｅｔ又はＶＧＧのような既存のＣＮＮアーキテクチャのＣＮＮ層を利用することができる。特徴マップの作成方法も特に限定されず、任意の方法で、ベースＣＮＮの任意の中間層出力を取り出して、入力画像の解像度と同じ解像度に変換することにより、作成することができる。さらには、プーリングにより縮小した中間層を、デコンボリューションにより元の画像サイズに戻すアーキテクチャを用いて、特徴マップを作成することもできる。

実施形態３では、このようなＣＮＮアーキテクチャを用いて変状特徴量を抽出する。一方、変状を検出する処理は、実施形態１と同様に行うこともできるし、処理の効率化のためにＣＮＮを用いて行うこともできる。以下では、図１０～１２を用いて、変状検出と変状特徴量の抽出をＣＮＮを用いて行う実施形態について説明する。

まず、図１０を用いて、変状を検出する処理と変状特徴量を抽出する処理について説明する。図１０には、簡略化された図９と、変状検出処理と、変状の属性情報を判定する処理と、が示されている。図１０において、ベースＣＮＮ９０１は、共通特徴量作成部として用いられる。ベースＣＮＮ９０１は、変状検出に用いる局所特徴量の作成と、属性情報判定のための変状特徴量の作成に共通して用いられる。そして、局所特徴量と変状特徴量を作成するために、ストリーム９１０及びストリーム９２０で示すように、ベースＣＮＮ９０１から２つのストリームが分岐する。すなわち、第１の抽出部１１１は、入力画像９００が入力されたＣＮＮの中間層からの出力をストリーム９１０として抽出し、入力画像９００の各画素についての第１の特徴量を示す第１の特徴マップ９１１を作成する。一方、第２の抽出部１１５は、入力画像９００が入力されたＣＮＮの中間層からの出力をストリーム９２０として抽出し、入力画像９００の各画素についての第２の特徴量を示す第２の特徴マップ９２１を作成する。ここで、ストリーム９１０とストリーム９２０とが同じである必要はないし、第１の特徴量と第２の特徴量とが同じである必要はない。

上述のように、第１の特徴マップ９１１は、入力画像９００と同サイズの幅ｗと高さｈを有するｎチャネルのマップである。すなわち、第１の特徴マップ９１１は、入力画像９００の各画素についてｎ次元の特徴量（局所特徴量）を示す。変状判定部１１２は、第１の特徴マップ９１１に示される入力画像９００の各画素の第１の特徴量に従って、変状部を検出する。本実施形態において変状判定部１１２は、以下のようにして変状部の検出を行う。すなわち、変状判定部１１２は、各画素の局所特徴量から、各画素が変状に対応する可能性を示すスコアマップを作成する。例えば、変状判定部１１２は、シグモイド関数を用いた以下の式により各画素についてのスコアを算出することができる。
ｓ_ｉ，ｊ＝σ（ｗ・ｖ_ｉ，ｊ）
ここで、ｉ，ｊは画素の画像座標を示し、ｓ_ｉ，ｊは座標（ｉ，ｊ）の画素が変状部に対応する可能性を示すスコアを表す。また、σ（ ）はシグモイド関数を示し、ｗ・ｖ_ｉ，ｊはベクトルｗとベクトルｖ_ｉ，ｊとの内積を表す。ｖ_ｉ，ｊは検出特徴マップにおける座標（ｉ，ｊ）のｎ次元特徴ベクトルであり、ｗはｖ_ｉ，ｊに対する重みベクトルである。この計算を各画素に対して実行することで、変状判定部１１２はスコアマップを作成することができる。

ここでは、変状判定部１１２はニューラルネットワークの出力層でよく利用されるシグモイド関数を用いてスコアマップを作成したが、他の方法によりスコアマップを作成することもできる。例えば、変状判定部１１２は、各画素の特徴ベクトルｖ_ｉ，ｊをＳＶＭに入力することで各画素のスコアを算出してもよい。

変状分離部１１３及び領域設定部１１４は、変状判定部１１２が算出したスコアマップを用いて、実施形態１と同様に変状部を１つずつ特定する処理及び変状部ごとにＲＯＩを設定する処理を行うことができる。

次に、図１１を用いて、第２の抽出部１１５が、領域設定部１１４が設定したＲＯＩと、第２の特徴マップ９２１とを用いて、１つの変状部についての変状特徴量を抽出する処理を説明する。第２の抽出部１１５は、第２の特徴マップ９２１に示される、変状部の部分画像の各画素の第２の特徴量に従って、変状特徴量を算出する。ここで、変状部の部分画像は、ＲＯＩ内の画像に相当する。以下では、変状特徴量の算出方法の一例を説明する。

図１１には、第２の特徴マップ９２１が示されているが、図１１においては紙面の奥方向がチャネル数ｎを示しており、図９及び図１０とは第２の特徴マップ９２１の表示の向きが異なることに注意が必要である。また、図１１には、第２の特徴マップ９２１上に、領域設定部１１４で求めた１つの変状部（ひび割れ）についてのＲＯＩ９３０が示されている。ＲＯＩは、変状部の大きさ（ひび割れの長さ）によって、その大きさが変わる。一方、属性判定部１１６は、所定の次元を持つ変状特徴量を用いて変状部の属性（ひび割れ幅）を判定する。そこで、本実施形態において、第２の抽出部１１５は、以下のようにしてＲＯＩ９３０の変状特徴量ｖ_９３０を作成する。

まず、第２の抽出部１１５は、ＲＯＩ９３０を複数のサブ領域に分割する。ＲＯＩの分割数及び分割方法は特に限定されず、例えば実施形態２と同様の方法を用いることができる。図１１の例では、分割線９３１，９３２により、各サブ領域の面積が同じになるようにＲＯＩ９３０が３分割されている。

次に、第２の抽出部１１５は、それぞれのサブ領域に対してＭａｘ Ｐｏｏｌｉｎｇを実施する。例えば、サブ領域９４０に対してＭａｘ Ｐｏｏｌｉｎｇを実行すると、サブ領域９４０の各チャネルについての最大値を有するベクトル９４１が生成される。ここで、ベクトル９４１は、第２の特徴マップのチャネル数と同じｎ次元のベクトルとなる。図１１に示されたｄｉｍ（ｎ）は、ｎ次元ベクトルを表す。同様に、第２の抽出部１１５は、他のサブ領域に対しても同様にＭａｘ Ｐｏｏｌｉｎｇを行うことにより、ｎ次元のベクトルを生成する。このように、３つのサブ領域のそれぞれからｎ次元のベクトルが得られる。こうして得られた３つのｎ次元ベクトルを連結することで、ＲＯＩ９３０の変状特徴量ｖ_９３０が得られる。この方法に従うと、ＲＯＩを３分割することにより抽出された変状特徴量は、ＲＯＩのサイズに関わらず常に３ｎ次元の特徴ベクトルとなる。

以上の方法により、第２の特徴マップ及び任意のサイズのＲＯＩに基づいて、所定次元の変状特徴量を抽出することができる。なお、プーリングの方法は特に限定されず、例えばＡｖｅｒａｇｅ Ｐｏｏｌｉｎｇ等の他の方法を用いることもできる。

属性判定部１１６は、実施形態１と同様に、変状特徴量を用いて変状部の属性情報を判定することができる。

以上のように、本実施形態においては、変状部の検出及びその属性情報の判定のために、ＣＮＮが用いられる。このＣＮＮの学習は、変状部検出の誤差と、変状属性の判定誤差とに基づいて、誤差逆伝搬法を用いることで行うことができる。

変形例として、複数の変状部を検出しそれらの属性の推定を行う場合について説明する。例えば、ひび割れと同時に、析出物のようなひび割れ以外の変状を検出することができる。また、ひび割れについてはひび割れ幅を判定する一方、析出物については例えば析出物発生の原因を判定することができる。

このような構成においては、検出対象となる変状に適した局所特徴量又は変状特徴量を抽出するために、ベースＣＮＮから分岐するストリームの数を増やすことができる。例えば、図１０に示すベースＣＮＮ９０１から、ストリーム９１０，９２０の他に、析出物を検出するための局所特徴量の抽出に用いるストリームと、析出物の属性を判定するための変状特徴量の抽出に用いるストリームを分岐させることができる。このような構成により、それぞれの変状の検出とその属性判定に適した特徴量を抽出することができる。

［実施形態４］
実施形態４は、ＲＯＩの設定に用いられるパラメータを調整する実施形態について説明する。実施形態１では図６で示したように、予め設定されたパラメータｘに従い、変状部（ひび割れ）を中心としたｘ画素の範囲をＲＯＩとした。このように変状特徴量の抽出に用いられるＲＯＩの範囲はパラメータｘによって変化するため、パラメータｘを適切に設定することにより、変状部の属性情報（ひび割れ幅）を精度良く求めることができる。以下、属性判定部１１６が用いる識別器の学習時と、属性判定部１１６による属性情報の判定時のそれぞれについて、パラメータｘを調整する方法について説明する。以下の方法は、例えば図１２に示すコンピュータ１２００のような情報処理装置によって実現できる。また、実施形態１では、各ひび割れについてＲＯＩの範囲を表示装置に表示する場合について説明した。この表示により、ユーザは、ひび割れ幅の判定のために用いられたか画像の範囲を理解することができる。実施形態４では、表示装置に表示する情報についての拡張例及び変形例についてあわせて説明する。

まず、学習時におけるパラメータｘの調整方法について、２通りの方法を説明する。１つめの方法としては、ユーザが、学習データにおけるＲＯＩの範囲を示す適切なパラメータｘを選択する方法が挙げられる。この場合、学習データとして用いられるひび割れ画像に対して、様々なパラメータｘを用いて自動的にＲＯＩを設定し、それぞれのパラメータｘに従うＲＯＩ範囲をひび割れ画像に重畳表示してユーザに提示することができる。このとき、それぞれのＲＯＩを表示装置に順次表示してもよいし、異なる色又は線種で表されたそれぞれのＲＯＩを同時に表示装置に表示してもよい。また、パラメータｘとしては、予め複数の値が用意されていてもよいし、ユーザが任意の値を順次設定してもよい。

そして、ユーザは、表示装置に表示された複数のＲＯＩを目視で確認し、ひび割れ幅を判定するために適切な範囲となっているＲＯＩを選択する。適切なＲＯＩとしては、例えば、コンクリート表面の剥離や穴を通るひび割れについて、剥離や穴の全体を含んでいるＲＯＩが挙げられる。そして、選択されたＲＯＩに対応するパラメータｘが、学習時に用いられる。このような方法によれば、剥離や穴を含むひび割れ全体の特徴を抽出することができるようになり、剥離や穴を通るひび割れと太いひび割れとを判別しやすくなることが期待できる。

２つ目の方法としては、学習データを用いた際の属性情報（ひび割れ幅）の判定精度が高くなるパラメータｘを選択する方法がある。この場合、学習データを２つに分割し、一方を識別器の学習に用いるデータ、もう一方を学習した識別器を評価するためのデータとして用いることができる。このように分割された学習データを用いて、パラメータｘを変化させながら、識別器の学習と、学習された識別器の評価が繰り返される。評価は、ひび割れ幅判定の正解率等に基づいて行うことができる。そして、正解率が最大となるパラメータｘを、最適なパラメータとして選択することができる。このような方法により、自動的に最適なパラメータｘを選択することができる。

この場合、ユーザが確認できるように、自動的に選択されたパラメータｘに関する情報を表示装置に表示することができる。例えば、パラメータｘの数値を表示装置に表示することができる。また、学習データに含まれるいくつかのひび割れ画像を、パラメータｘを用いて設定されたＲＯＩが重畳された状態で、表示装置に表示することができる。

以上、学習時において、学習データに基づいて最適なパラメータｘを１つ設定する場合について説明した。学習時にはこうして設定されたパラメータｘを用いて実施形態１と同様に識別器の学習を行うことができる。また、判定時にも、領域設定部１１４はこうして設定されたパラメータｘを用いてＲＯＩの設定を行うことができる。一方、パラメータｘを１つに限定することは必須ではない。例えば、変状部の属性情報の判定時に、入力画像に合わせて任意のパラメータｘを設定することもできる。以下では、判定時にパラメータｘを調整する方法について説明する。

領域設定部１１４は、１つの変状部（ひび割れ）に対して、変状部を含む部分画像の領域を複数設定する。そして、第２の抽出部１１５及び属性判定部１１６は、複数設定された部分画像の領域のそれぞれを用いて、変状部の属性を複数回判定する。本実施形態において領域設定部１１４は、１つの変状部（ひび割れ）に対して、異なる複数のパラメータｘを用いて複数のＲＯＩを設定する。そして、第２の抽出部１１５及び属性判定部１１６は、それぞれのＲＯＩに従って属性情報（ひび割れ幅）を算出する。ひび割れ幅の算出方法としては、実施形態１で説明した方法を用いることができるが、ＲＯＩを設定するステップ（ステップＳ２０５）の後の処理（ステップＳ２０６～Ｓ２０７）は、１つのひび割れに対して複数回実行され、複数のひび割れ幅が算出される。ここで用いられる複数のパラメータｘは、予め設定されていてもよいし、ユーザによって任意に設定されてもよい。

こうして得られた複数のひび割れ幅は、比較可能なようにユーザに提示することができる。また、こうして得られた複数のＲＯＩも、比較可能なようにユーザに提示することができる。例えば、表示装置には、ひび割れの検出位置、ひび割れ幅、及びＲＯＩを示す情報が重畳された入力画像を表示することができる。ここで、それぞれのパラメータｘを用いた場合における、ひび割れ幅の判定結果及びＲＯＩの範囲を、それぞれのパラメータｘごとに切り替えて表示することができる。また、ひび割れ幅の判定結果及びＲＯＩの範囲の比較結果が分かるように、表示装置に表示を行うこともできる。ユーザは、表示された結果を見て、適切な判定結果を選択することができる。

さらに、ユーザは、表示された結果に基づいて、適切なパラメータｘを選択することもできる。例えば、情報処理装置１００は、検査対象の一部分の画像を入力画像として複数のパラメータｘを用いた判定を行い、その結果に基づいてユーザはパラメータｘを選択することができる。この場合、情報処理装置１００は、検査対象の残りの画像に対しては、ユーザが選択したパラメータｘを用いてひび割れ幅の判定を行うことができる。

ＲＯＩの範囲を決定するために用いられるパラメータは、上記のパラメータｘに限らない。例えば、実施形態１で説明した１本のひび割れ範囲の決定に用いられる角度閾値θ_ｔｈを変化させると、判定される１本のひび割れの範囲も変化する。この結果、１本のひび割れに対して設定されるＲＯＩも変化する。従って、この角度閾値θ_ｔｈもＲＯＩの設定に用いられるパラメータであり、同様の方法により適切な値に設定することができる。すなわち、変状分離部１１３が変状部を個別に特定するために用いるパラメータも、ＲＯＩの範囲を決定するパラメータとして同様に調整することができる。

［実施形態５］
実施形態１～４では、例えば図６に示されるように、変状部（ひび割れ）を中心とした所定距離内の領域がＲＯＩとして設定された。実施形態５では、検出された変状部の位置に複数のパッチ領域（局所領域）を設定することで、ＲＯＩの範囲が設定される。本実施形態の構成及び処理は、ステップＳ２０５及びＳ２０６の処理が異なることを除き実施形態１～４と同様であるから、重複する説明は省略する。

図１３（Ａ）は、実施形態５で設定されるＲＯＩを説明する図である。図１３（Ａ）では、検出した１本の変状部（ひび割れ１３０１）に対してＲＯＩが設定されている。図１３（Ａ）にはパッチ領域１３１０が示されており、これはひび割れ１３０１上の位置１３２０を中心とする１辺が２ｘ画素の正方形領域である。ｘは、上記の実施形態と同様に、ＲＯＩの範囲を決定するパラメータである。パッチ領域の形状は正方形に限られず、例えば、長方形、円形、又は楕円形等の任意の形状でありうる。

本実施形態のステップＳ２０５において領域設定部１１４は、このようなパッチ領域を、属性情報の判定対象である変状部に複数設定する。図１３（Ａ）では、ひび割れ１３０１上に、ひび割れ位置を中心とするｎ個のパッチ領域１３１０，１３１１，……，１３１ｎが設定されている。そして、これらのパッチ領域の全体が、ひび割れ１３０１の属性情報を判定するために特徴量が算出されるＲＯＩ領域となる。複数のパッチ領域の設定方法は特に限定されず、各パッチ領域が互いに重複するように設定されてもよいし、パッチ領域の中心位置を調整することにより各パッチ領域が互いに重複しないように設定されてもよい。また、各パッチ領域は、等間隔でひび割れ上に並べられてもよいし、ひび割れの任意の位置に設定されてもよい。例えば、等間隔ではないパッチ領域の設定方法としては、ひび割れ上の画素からパッチ領域の中心をランダムに選択する方法、及びひび割れ上の特徴的な画素を選択する方法等が挙げられる。

次に、ステップＳ２０６において、第２の抽出部１１５は、設定されたＲＯＩ領域から変状特徴量を作成する。上述の通り、第２の抽出部１１５は、複数のパッチ領域のいずれかに含まれる画像から変状特徴量を作成する。例えば、図１３（Ｂ）に示されるように、第２の抽出部１１５は、複数のパッチ領域の外接線１３３０の内部の画像から、実施形態１～４と同様にヒストグラム特徴量を作成することができる。

変状特徴量の作成方法はこの方法には限られない。例えば、第２の抽出部１１５は、パッチ領域ごとに特徴量を抽出してもよい。この場合、これらの特徴量を統合することにより、ＲＯＩ範囲の変状特徴量を作成することができる。例えば、第２の抽出部１１５は、パッチ領域ごとの特徴量として、各パッチ領域について画像の輝度最小値を抽出することができる。図１３（Ａ）の例では、ｎ個のパッチ領域１３１０～１３１ｎが存在するため、ｎ個の輝度最小値が抽出される。これらのｎ個の輝度最小値をヒストグラム化することにより、ひび割れ１３０１のＲＯＩ領域全体の変状特徴量を作成することができる。

ここで、各パッチ領域から抽出する特徴量は輝度最小値に限られず、任意の画像特徴量でありうる。例えば、パッチ領域内のエッジ強度の最大値又はＨＯＧ特徴量等を特徴量として抽出してもよい。また、１つのパッチ領域から複数種類の特徴量を抽出してもよい。例えば、各パッチ領域から、輝度最小値及びエッジ強度最大値を抽出してもよい。この場合、輝度最小値のヒストグラム特徴量とエッジ強度最大値のヒストグラム特徴量とが連結されたベクトルを、ＲＯＩ範囲の変状特徴量として用いることができる。

本実施形態では、以上のようにして作成した変状特徴量を用いて、変状部の属性情報を判定する。属性情報の判定方法は、実施形態１～４と同様でありうる。以上のように、変状特徴量が抽出される変状部の部分画像の選択方法、すなわちＲＯＩ領域の設定方法は特に限定されない。また、変状部の部分画像の特徴量の作成方法も特に限定されない。なお、学習時も、判定時と同様の方法で変状特徴量を作成することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：情報処理装置、１０１：入力画像、１０２：変状検出結果、１０３：変状の属性情報、１１１：第１の抽出部、１１２：変状判定部、１１３：変状分離部、１１４：領域設定部、１１５：第２の抽出部、１１６：属性判定部

Claims (25)

1. 構造物を撮影することによって得た入力画像から抽出された局所特徴に基づき検出された線成分の分岐を判定する判定手段と、
   前記判定手段による判定結果に基づいて、前記構造物に生じたひび割れである変状部の範囲を特定する特定手段と、
   前記変状部の範囲の特定結果に基づいて前記入力画像から前記変状部の部分画像に関する特徴を抽出する抽出手段と、
   前記変状部の部分画像に関する特徴を用いて、前記変状部の属性を判定する属性判定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記抽出手段は、前記変状部の部分画像に関する特徴として前記変状部の部分画像から特徴を抽出することを特徴とする、請求項１に記載の情報処理装置。
3. 前記抽出手段は、前記変状部の部分画像に関する特徴として前記変状部の部分画像からヒストグラム特徴を抽出することを特徴とする、請求項１又は２に記載の情報処理装置。
4. 前記属性判定手段は、多クラス識別を用いて、前記変状部の属性が複数のクラスのいずれに属するかを判定することを特徴とする、請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記複数のクラスは、前記変状部が誤特定されていることを示すクラスを含むことを特徴とする、請求項４に記載の情報処理装置。
6. 前記属性判定手段は、学習された識別器を用いて前記変状部の属性を判定することを特徴とする、請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記特定手段は、前記入力画像が入力されたＣＮＮ(Convolutional Neural Network)の中間層からの出力を用いて得られた前記入力画像の各画素の第１の特徴に従って、前記変状部を特定し、
   前記抽出手段は、前記ＣＮＮの中間層からの出力を用いて得られた前記変状部の部分画像の各画素の第２の特徴に従って、前記変状部の部分画像の特徴を算出する
   ことを特徴とする、請求項１から６のいずれか１項に記載の情報処理装置。
8. 入力画像が入力されたＣＮＮ(Convolutional Neural Network)の中間層からの出力を用いて得られた前記入力画像の各画素の第１の特徴に従って、前記入力画像における被写体の変状部を特定する特定手段と、
   前記変状部の特定結果に基づいて、前記ＣＮＮの中間層からの出力を用いて得られた前記変状部の部分画像の各画素の第２の特徴に従って、前記変状部の前記部分画像に関する特徴を抽出する抽出手段と、
   前記変状部の部分画像に関する特徴を用いて、前記変状部の属性を判定する属性判定手段と、
   を備えることを特徴とする情報処理装置。
9. 前記抽出手段は、特定された前記変状部の大きさに応じて選択された方法に従って前記変状部の部分画像から特徴を抽出することを特徴とする、請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記特定手段は、前記変状部の位置を特定し、
    前記情報処理装置は、前記変状部の位置に従って前記入力画像から抽出される前記変状部の部分画像の領域を設定する設定手段をさらに備えることを特徴とする、請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記設定手段は、１つの変状部に対して、前記部分画像の領域を複数設定し、
    前記属性判定手段は、複数設定された前記部分画像の領域のそれぞれを用いて、前記変状部の属性を複数回判定することを特徴とする、請求項１０に記載の情報処理装置。
12. 前記特定手段は、前記入力画像に写っている複数の変状部を個別に特定し、
    前記属性判定手段は、前記複数の変状部のそれぞれについて前記属性を判定することを特徴とする、請求項１から１１のいずれか１項に記載の情報処理装置。
13. 前記被写体は構造物であり、前記変状部は前記構造物に生じたひび割れであることを特徴とする、請求項８に記載の情報処理装置。
14. 前記特定手段は、
    前記入力画像の各位置から抽出された局所特徴を用いてひび割れ領域を特定し、
    前記ひび割れ領域を細線化することにより前記ひび割れの位置を示す線を導出し、
    前記線の方向変化に応じて前記線を分割することにより、個別のひび割れの位置を示す線を導出する
    ことにより、前記入力画像に含まれる複数のひび割れを個別に特定することを特徴とする、請求項１から６および１３のいずれか１項に記載の情報処理装置。
15. 入力画像の各位置から抽出された局所特徴を用いてひび割れ領域を検出する手段と、
    前記ひび割れ領域を細線化することにより前記ひび割れの位置を示す線を導出する手段と、
    前記線の方向変化に応じて前記線を分割することにより、個別のひび割れの位置を示す線を導出することにより、前記入力画像に含まれる複数のひび割れを個別に変状部として特定する特定手段と、
    前記変状部の特定結果に基づいて前記入力画像から前記変状部の部分画像に関する特徴を抽出する抽出手段と、
    前記変状部の部分画像に関する特徴を用いて、前記変状部の属性を判定する属性判定手段と、
    を備えることを特徴とする情報処理装置。
16. 前記変状部の位置を表示装置に表示させる表示手段をさらに備えることを特徴とする、請求項１から１５のいずれか１項に記載の情報処理装置。
17. 前記表示手段は、前記変状部の位置とともに当該変状部の属性を前記表示装置に表示させることを特徴とする、請求項１６に記載の情報処理装置。
18. 前記属性の信頼度を算出する算出手段をさらに備え、
    前記表示手段は、前記変状部の属性とともに当該属性の信頼度を前記表示装置に表示させることを特徴とする、請求項１７に記載の情報処理装置。
19. 前記表示手段は、前記変状部の属性の信頼度に基づいて、前記変状部の表示態様を変化させることを特徴とする、請求項１８に記載の情報処理装置。
20. 前記属性判定手段は、前記属性として、前記変状部の幅を判定することを特徴とする、請求項１から１９のいずれか１項に記載の情報処理装置。
21. 前記属性判定手段は、前記属性として、前記変状部の危険度又は前記変状部の発生の原因を判定することを特徴とする、請求項１から２０のいずれか１項に記載の情報処理装置。
22. 情報処理装置が行う情報処理方法であって、
    構造物を撮影することによって得た入力画像から抽出された局所特徴に基づき検出された線成分の分岐を判定し、
    前記判定の結果に基づいて、前記構造物に生じたひび割れである変状部の範囲を特定し、
    前記変状部の範囲の特定結果に基づいて前記入力画像から前記変状部の部分画像に関する特徴を抽出し、
    前記変状部の部分画像に関する特徴を用いて、前記変状部の属性を判定する
    ことを特徴とする情報処理方法。
23. 情報処理装置が行う情報処理方法であって、
    入力画像が入力されたＣＮＮ(Convolutional Neural Network)の中間層からの出力を用いて得られた前記入力画像の各画素の第１の特徴に従って、前記入力画像における被写体の変状部を特定し、
    前記変状部の特定結果に基づいて、前記ＣＮＮの中間層からの出力を用いて得られた前記変状部の部分画像の各画素の第２の特徴に従って、前記変状部の前記部分画像に関する特徴を抽出し、
    前記変状部の部分画像に関する特徴を用いて、前記変状部の属性を判定する
    ことを特徴とする情報処理方法。
24. 情報処理装置が行う情報処理方法であって、
    入力画像の各位置から抽出された局所特徴を用いてひび割れ領域を検出し、
    前記ひび割れ領域を細線化することにより前記ひび割れの位置を示す線を導出し、
    前記線の方向変化に応じて前記線を分割することにより、個別のひび割れの位置を示す線を導出することにより、前記入力画像に含まれる複数のひび割れを個別に変状部として特定し、
    前記変状部の特定結果に基づいて前記入力画像から前記変状部の部分画像に関する特徴を抽出し、
    前記変状部の部分画像に関する特徴を用いて、前記変状部の属性を判定する
    ことを特徴とする情報処理方法。
25. コンピュータを、請求項１乃至２１の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images