JP6881347B2 - 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体 - Google Patents

Description

本発明は、評価システム、評価装置、評価方法、評価プログラム、及び記録媒体に関する。

検査対象物の画像を用いて検査を行う検査装置が知られている。例えば、特許文献１には、検査対象物を撮像することで得られた画像をニューラルネットワークに入力し、欠陥の有無及び種類を判定する検査装置が開示されている。

また、鋼材に生じているさびの程度を評価することが知られている。例えば、特許文献２には、鋼材に光を照射し、特定波長での反射光強度からスケールを測定する測定装置が開示されている。

特開２０１２−２６９８２号公報 特開平８−２５４５０２号公報

鋼材等の対象物の表面に生じているさびの程度を評価するために、特許文献１に記載されているように、対象物の画像を用いることが考えられる。この場合、撮像画像の撮像条件は、撮像画像ごとに異なることがある。例えば、対象物から離れた位置から撮影されることもあれば、対象物の近くで撮影されることもある。また、任意の倍率が設定されて、撮影される。しかしながら、さびの程度は、実際の対象物におけるさびの広がり具合等によって評価され得る。このため、対象物の撮像画像をそのまま用いた場合には、評価精度が十分に得られないおそれがある。

本技術分野では、さびの程度に関する評価精度を向上させることが望まれている。

本発明の一側面に係る評価システムは、評価対象物の撮像画像を用いて、評価対象物のさびの程度に関する評価を行うシステムである。評価システムは、撮像画像を取得する画像取得部と、撮像画像を補正することで評価用画像を生成する補正部と、評価用画像に基づいて評価を行う評価部と、評価部による評価結果を出力する出力部と、を備える。補正部は、撮像画像から評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域を抽出し、評価領域に基づいて評価用画像を生成する。

本発明の別の側面に係る評価装置は、評価対象物の撮像画像を用いて、評価対象物のさびの程度に関する評価を行う装置である。評価装置は、撮像画像を取得する画像取得部と、撮像画像を補正することで評価用画像を生成する補正部と、評価用画像に基づいて評価を行う評価部と、評価部による評価結果を出力する出力部と、を備える。補正部は、撮像画像から評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域を抽出し、評価領域に基づいて評価用画像を生成する。

本発明のさらに別の側面に係る評価方法は、評価対象物の撮像画像を用いて、評価対象物のさびの程度に関する評価を行う方法である。評価方法は、撮像画像を取得するステップと、撮像画像を補正することで評価用画像を生成するステップと、評価用画像に基づいて評価を行うステップと、評価を行うステップにおける評価結果を出力するステップと、を備える。評価用画像を生成するステップでは、撮像画像から評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域が抽出され、評価領域に基づいて評価用画像が生成される。

本発明のさらに別の側面に係る評価プログラムは、コンピュータに、評価対象物の撮像画像を取得するステップと、撮像画像を補正することで評価用画像を生成するステップと、評価用画像に基づいて、評価対象物のさびの程度に関する評価を行うステップと、評価を行うステップにおける評価結果を出力するステップと、を実行させるためのプログラムである。評価用画像を生成するステップでは、撮像画像から評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域が抽出され、評価領域に基づいて評価用画像が生成される。

本発明のさらに別の側面に係る記録媒体は、コンピュータに、評価対象物の撮像画像を取得するステップと、撮像画像を補正することで評価用画像を生成するステップと、評価用画像に基づいて、評価対象物のさびの程度に関する評価を行うステップと、評価を行うステップにおける評価結果を出力するステップと、を実行させるための評価プログラムを記録したコンピュータ読み取り可能な記録媒体である。評価用画像を生成するステップでは、撮像画像から評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域が抽出され、評価領域に基づいて評価用画像が生成される。

これらの評価システム、評価装置、評価方法、評価プログラム、及び記録媒体では、評価対象物の撮像画像から評価領域が抽出され、評価領域に基づいて評価用画像が生成される。そして、評価用画像に基づいてさびの程度に関する評価が行われ、評価結果が出力される。評価領域は、評価対象物の表面のうちの所定の面積を有する範囲の画像である。このため、撮像画像が撮像された条件（評価対象物と撮像装置との距離、及び倍率等）によらずに、評価対象物の表面のうちの同じ面積を有する範囲を対象として、その範囲内に生じているさびの程度に関する評価が行われる。その結果、さびの程度に関する評価精度を向上させることが可能となる。

撮像画像は、評価対象物に付されたマーカの画像であるマーカ領域を含んでもよい。補正部は、マーカ領域に基づいて評価領域を抽出してもよい。この場合、マーカ領域の大きさを基準として、撮像画像における上記範囲が決定され、決定された範囲が評価領域として抽出され得る。このため、他の情報を用いることなく、評価領域を抽出することができる。これにより、評価システムを小型化することが可能となる。

マーカは、マーカの向きを特定可能な形状を有してもよい。この場合、マーカ領域によって、撮像画像における向きを識別することができる。

マーカは、無指向性の形状を有していてもよい。この場合、マーカの形状が単純であるので、マーカの作成を容易化することができる。

マーカは、開口部を有してもよい。開口部の開口面積は、上記面積と等しくてもよい。補正部は、開口部を介して露出する評価対象物の表面の画像を評価領域として抽出してもよい。この場合、評価領域の抽出を簡易化することができる。

マーカは、枠によって囲まれていてもよい。マーカと枠との間に間隙が設けられてもよく、間隙の色はマーカの外縁部分の色とは異なってもよい。この場合、枠とマーカとの間に、マーカの外縁部分の色とは異なる色を有する間隙が存在する。このため、マーカ領域の周辺の色が、マーカ領域の外縁部分の色と類似していたとしても、マーカ領域の外縁を検出することができるので、マーカ領域の検出精度が向上する。その結果、さびの程度に関する評価精度をさらに向上させることが可能となる。

枠は、枠線が途切れた形状を有してもよい。この場合、エッジ検出等において、枠によって囲まれた領域がマーカ領域として検出される可能性を低減することができるので、マーカ領域の検出精度が向上する。その結果、さびの程度に関する評価精度をさらに向上させることが可能となる。

評価システムは、撮像画像を撮像した撮像装置と評価対象物との距離を取得する距離取得部をさらに備えてもよい。補正部は、上記距離に基づいて評価領域を抽出してもよい。撮像装置と評価対象物との距離に基づいて、評価対象物の表面のうちの所定の面積を有する範囲を特定することができるので、評価領域をより正確に抽出することが可能となる。

補正部は、撮像画像に含まれる参照領域の色に基づいて、評価領域の色を補正してもよい。参照領域は、特定の色が付された参照体の画像であってもよい。同じ評価対象物であっても、撮影に用いられた光源の色調によって、撮像画像の色調が変わることがある。また、同じ評価対象物であっても、光の照射量によって、撮像画像の明るさが異なることがある。上記構成では、参照領域の色が特定の色と異なっている場合、撮像画像における色が光の影響を受けていると考えられる。そこで、例えば、参照領域の色が特定の色（元の色）になるように、評価領域の色の補正を行うことで、光の影響を低減することができる。これにより、さびの程度に関する評価精度をさらに向上させることが可能となる。

補正部は、評価領域から鏡面反射を除去してもよい。評価対象物に強い光が照射されると鏡面反射が生じることがあり、その状態で評価対象物が撮像されると撮像画像に白飛びが生じることがある。白飛びが生じている領域では、色情報が失われている。このため、鏡面反射（白飛び）を除去することで、色情報が復元され得る。これにより、さびの程度に関する評価精度をさらに向上させることが可能となる。

評価部は、ニューラルネットワークを用いて評価を行ってもよい。ニューラルネットワークを学習させることによって、さびの程度に関する評価精度をさらに向上させることが可能となる。

補正部は、評価領域を拡大又は縮小することで、評価用画像のサイズをニューラルネットワークの学習に用いられる基準画像のサイズに合わせてもよい。この場合、ニューラルネットワークによる評価を適切に行うことができる。

評価システムは、撮像画像からさびが生じている候補領域を抽出する抽出部をさらに備えてもよい。補正部は、候補領域を補正することで評価用画像を生成してもよい。この場合、評価対象物の表面全体を評価する必要が無いので、さびの程度に関する評価効率を向上させることが可能となる。

評価は、さび度の評価を含んでもよい。この場合、さび度の評価精度を向上させることが可能となる。

評価は、除錆度の評価を含んでもよい。この場合、除錆度の評価精度を向上させることが可能となる。

本発明の各側面及び各実施形態によれば、さびの程度に関する評価精度を向上させることができる。

図１は、第１実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。 図２は、図１に示されるユーザ端末のハードウェア構成図である。 図３は、図１に示される評価装置のハードウェア構成図である。 図４は、図１に示される評価システムが行う評価方法を示すシーケンス図である。 図５は、図４に示される補正処理を詳細に示すフローチャートである。 図６の（ａ）〜（ｆ）は、マーカの例を示す図である。 図７は、歪み補正を説明するための図である。 図８は、マーカを用いた評価領域の抽出を説明するための図である。 図９の（ａ）は、評価対象物の実際の大きさの計算方法を説明するための図である。図９の（ｂ）は、焦点距離と３５ｍｍ換算の焦点距離との関係を示す図である。 図１０の（ａ）及び（ｂ）は、色補正を説明するための図である。 図１１は、ニューラルネットワークの一例を示す図である。 図１２は、評価結果の一例を示す図である。 図１３は、評価結果の表示例を示す図である。 図１４は、除錆度の評価結果の一例を示す図である。 図１５の（ａ）及び（ｂ）は、評価結果の修正例を示す図である。 図１６は、第２実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。 図１７は、図１６に示される評価システムが行う評価方法を示すシーケンス図である。 図１８は、第３実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。 図１９は、図１８に示される評価システムが行う評価方法を示すフローチャートである。 図２０は、変形例に係る評価システムを概略的に示す構成図である。 図２１の（ａ）は、候補領域の検出を説明するための図である。図２１の（ｂ）は、候補領域の抽出を説明するための図である。 図２２の（ａ）〜（ｄ）は、マーカの変形例を示す図である。 図２３は、評価領域の抽出方法の変形例を説明するための図である。 図２４は、評価領域の抽出方法の変形例を説明するための図である。

以下、図面を参照しながら本発明の実施形態が詳細に説明される。なお、図面の説明において同一要素には同一符号が付され、重複する説明は省略される。

（第１実施形態）
図１は、第１実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。図１に示される評価システム１は、評価対象物のさびの程度に関する評価を行うシステムである。さびの程度に関する評価には、さび度及び除錆度が含まれる。つまり、評価システム１は、評価対象物のさび度及び除錆度を評価する。評価対象物の例としては、鋼材が挙げられる。

さび度は、除錆処理を施す前の評価対象物の表面に発生しているさびの程度を示す指標である。鋼材が高温で熱処理され、冷えていく過程で鋼材の表面に黒色の薄い酸化被膜（ミルスケール）が形成される。ミルスケールは、鋼材に赤さびが発生する前の黒さびに相当する。ミルスケールが剥がれ落ち、鋼材の母材に赤さびが発生し、さらに赤さびが進行すると、徐々に母材が侵食され、穴を開けながら腐食する孔食が生じる。さびの程度には、ミルスケール、赤さび、及び孔食の程度（進行具合）が含まれる。除錆度は、除錆処理の仕上げの程度を示す指標である。言い換えると、除錆度は、除錆処理を施した後の評価対象物の表面に残存するさび等の付着物の程度を示す指標である。除錆処理の例として、ブラスト処理、ウォータージェット処理、及び火炎清掃が挙げられる。除錆処理として、電動工具、ヤスリ、ブラシ、及びヘラ等が用いられてもよい。

評価システム１は、１又は複数のユーザ端末１０と、評価装置２０と、を備えている。ユーザ端末１０と、評価装置２０とは、ネットワークＮＷによって互いに通信可能に接続されている。ネットワークＮＷは、有線及び無線のいずれで構成されてもよい。ネットワークＮＷの例としては、インターネット、移動体通信網、及びＷＡＮ（Wide Area Network）が挙げられる。

ユーザ端末１０は、ユーザにより用いられる端末装置である。ユーザ端末１０は、評価対象物を撮像することによって評価対象物の撮像画像を生成し、撮像画像を評価装置２０に送信する。ユーザ端末１０は、評価装置２０から評価結果を受信し、評価結果をユーザに出力する。ユーザ端末１０は、撮像装置を内蔵した携帯端末に適用されてもよく、撮像装置と通信可能な装置に適用されてもよい。本実施形態では、撮像装置を内蔵した携帯端末を用いて説明する。携帯端末の例としては、スマートフォン、タブレット端末、及びノートＰＣ（Personal Computer）が挙げられる。

図２は、図１に示されるユーザ端末のハードウェア構成図である。図２に示されるように、ユーザ端末１０は、物理的には、１又は複数のプロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、通信装置１０４、入力装置１０５、出力装置１０６、撮像装置１０７、及び計測装置１０８等のハードウェアを備えるコンピュータとして構成され得る。プロセッサ１０１としては、処理速度が速いプロセッサが用いられる。プロセッサ１０１の例としては、ＧＰＵ（Graphics Processing Unit）及びＣＰＵ（Central Processing Unit）が挙げられる。主記憶装置１０２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等で構成される。補助記憶装置１０３の例としては、半導体メモリ、及びハードディスク装置が挙げられる。

通信装置１０４は、ネットワークＮＷを介して他の装置とデータの送受信を行う装置である。通信装置１０４の例としては、ネットワークカードが挙げられる。ネットワークＮＷを介したデータの送受信には、暗号化が用いられてもよい。つまり、通信装置１０４は、データを暗号化し、暗号化されたデータを他の装置に送信してもよい。通信装置１０４は、暗号化されたデータを他の装置から受信し、暗号化されたデータを復号してもよい。暗号化には、トリプルＤＥＳ（Data Encryption Standard）及びＲｉｊｎｄａｅｌ等の共通鍵暗号方式、又はＲＳＡ及びＥｌＧａｍａｌ等の公開鍵暗号方式が用いられ得る。

入力装置１０５は、ユーザがユーザ端末１０の操作を行う際に用いられる装置である。入力装置１０５の例としては、タッチパネル、キーボード、及びマウスが挙げられる。出力装置１０６は、各種情報をユーザ端末１０のユーザに出力する装置である。出力装置１０６の例としては、ディスプレイ、スピーカ、及びバイブレータが挙げられる。

撮像装置１０７は、撮像（画像化）するための装置である。撮像装置１０７は、例えば、カメラモジュールである。具体的には、撮像装置１０７は、レンズＣｌ及び撮像素子Ｃｓ（図９の（ａ）参照）等の複数の光学系の部品と、それらを駆動制御する複数の制御系の回路と、撮像素子Ｃｓによって生成された撮像画像を表す電気信号をデジタル信号である画像信号に変換する信号処理系の回路部と、を含む。計測装置１０８は、距離を計測する装置である。計測装置１０８の例としては、ミリ波レーダ、超音波センサ、ＬＩＤＡＲ（Light Detection and Ranging）、モーションステレオ、及びステレオカメラが挙げられる。

ユーザ端末１０の図１に示される各機能は、主記憶装置１０２等のハードウェアに１又は複数の所定のコンピュータプログラムを読み込ませることにより、１又は複数のプロセッサ１０１の制御のもとで各ハードウェアを動作させるとともに、主記憶装置１０２及び補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。

ユーザ端末１０は、機能的には、画像取得部１１と、距離取得部１２と、補正部１３と、送信部１４と、受信部１５と、出力部１６と、修正情報取得部１７と、を備えている。

画像取得部１１は、評価対象物を含む撮像画像を取得するための部分である。画像取得部１１は、例えば、撮像装置１０７によって実現される。撮像画像は、静止画像であってもよく、動画像であってもよい。撮像画像は、例えば、各画素（ピクセル）の画素値を示す画像データとして取得されるが、説明の便宜上、撮像画像として表現する。ユーザ端末１０が撮像装置１０７を有しない場合、画像取得部１１は、例えば、他の装置（例えばカメラ機能を有する端末等）によって撮像された撮像画像を当該他の装置から受け取ることにより、撮像画像を取得する。例えば、画像取得部１１が他の装置からネットワークＮＷを介して撮像画像を受信する場合、撮像画像の受信処理を行う部分（図２の通信装置１０４等）が画像取得部１１として機能する。画像取得部１１は、撮像画像を補正部１３に出力する。

距離取得部１２は、撮像画像を生成した撮像装置１０７（具体的には、レンズＣｌ）と評価対象物との距離Ｄ１を取得するための部分である。距離取得部１２は、例えば、計測装置１０８によって実現される。撮像装置１０７がデプスカメラである場合には、撮像画像とともに距離Ｄ１が得られるので、距離取得部１２は、撮像装置１０７によって実現される。ユーザ端末１０が計測機能を有しない場合、距離取得部１２は、例えば、他の装置（例えば計測機能を有する端末等）によって計測された距離Ｄ１を当該他の装置から受け取ることにより、距離Ｄ１を取得する。例えば、距離取得部１２が他の装置からネットワークＮＷを介して距離Ｄ１を受信する場合、距離Ｄ１の受信処理を行う部分（図２の通信装置１０４等）が距離取得部１２として機能する。また、ユーザがスケール又はメジャーを用いて距離Ｄ１を計測し、ユーザ端末１０に距離Ｄ１を入力してもよい。この場合、距離Ｄ１の入力を受け付ける部分（図２の入力装置１０５等）が距離取得部１２として機能する。距離取得部１２は、距離Ｄ１を補正部１３に出力する。

補正部１３は、撮像画像を補正することで評価用画像を生成するための部分である。補正部１３は、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成する。評価領域は、評価対象物の表面のうちの所定の面積を有する範囲の画像（画像領域）である。補正部１３は、例えば、撮像画像に対して、サイズ補正、歪み補正、色補正、鏡面反射除去、ノイズ除去、及びブレ補正を行う。各補正処理の詳細については、後述する。補正部１３は、評価用画像を送信部１４に出力する。

送信部１４は、評価用画像を評価装置２０に送信するための部分である。送信部１４は、ネットワークＮＷを介して評価用画像を評価装置２０に送信する。送信部１４は、さらに、修正情報取得部１７によって取得される修正情報を評価装置２０に送信する。送信部１４は、例えば、通信装置１０４によって実現される。受信部１５は、評価装置２０から評価結果を受信するための部分である。受信部１５は、ネットワークＮＷを介して評価結果を評価装置２０から受信する。受信部１５は、例えば、通信装置１０４によって実現される。

出力部１６は、評価結果を出力するための部分である。出力部１６は、例えば、出力装置１０６によって実現される。他の装置が有するディスプレイ等の出力装置において評価結果を出力する場合、出力部１６は、例えば、ネットワークＮＷを介して評価結果を他の装置に送信する。この場合、評価結果の送信処理を行う部分（図２の通信装置１０４等）が出力部１６として機能する。

修正情報取得部１７は、評価結果の修正情報を取得するための部分である。例えば、ユーザは、出力部１６によって出力された評価結果を確認した後、入力装置１０５を用いて評価結果を修正する場合がある。このとき、修正情報取得部１７は、修正された評価結果を修正情報として取得する。修正情報取得部１７は、修正情報を送信部１４に出力する。

評価装置２０は、評価対象物の撮像画像（評価用画像）を用いて、評価対象物のさびの程度に関する評価を行う装置である。評価装置２０は、例えば、コンピュータ等の情報処理装置（サーバ装置）によって構成される。

図３は、図１に示される評価装置のハードウェア構成図である。図３に示されるように、評価装置２０は、物理的には、１又は複数のプロセッサ２０１、主記憶装置２０２、補助記憶装置２０３、及び通信装置２０４等のハードウェアを備えるコンピュータとして構成され得る。プロセッサ２０１としては、処理速度が速いプロセッサが用いられる。プロセッサ２０１の例としては、ＧＰＵ及びＣＰＵが挙げられる。主記憶装置２０２は、ＲＡＭ及びＲＯＭ等で構成される。補助記憶装置２０３の例としては、半導体メモリ、及びハードディスク装置が挙げられる。

通信装置２０４は、ネットワークＮＷを介して他の装置とデータの送受信を行う装置である。通信装置２０４の例としては、ネットワークカードが挙げられる。ネットワークＮＷを介したデータの送受信には、暗号化が用いられてもよい。つまり、通信装置２０４は、データを暗号化し、暗号化されたデータを他の装置に送信してもよい。通信装置２０４は、暗号化されたデータを他の装置から受信し、暗号化されたデータを復号してもよい。暗号化には、トリプルＤＥＳ及びＲｉｊｎｄａｅｌ等の共通鍵暗号方式、又はＲＳＡ及びＥｌＧａｍａｌ等の公開鍵暗号方式が用いられ得る。

なお、通信装置２０４は、ユーザ端末１０のユーザが正規ユーザか非正規ユーザかを判定するユーザ認証を実施してもよい。この場合、評価装置２０は、ユーザが正規ユーザである場合にさびの程度に関する評価を行い、ユーザが非正規ユーザである場合にはさびの程度に関する評価を行わなくてもよい。ユーザ認証には、例えば、予め登録されたユーザＩＤ（identifier）及びパスワードが用いられる。ユーザ認証には、ワンタイムパッド（ワンタイムパスワード）が用いられてもよい。

評価装置２０の図１に示される各機能は、主記憶装置２０２等のハードウェアに１又は複数の所定のコンピュータプログラムを読み込ませることにより、１又は複数のプロセッサ２０１の制御のもとで各ハードウェアを動作させるとともに、主記憶装置２０２及び補助記憶装置２０３におけるデータの読み出し及び書き込みを行うことで実現される。

評価装置２０は、機能的には、受信部２１と、評価部２２と、送信部２３と、を備えている。

受信部２１は、ユーザ端末１０から評価用画像を受信するための部分である。受信部２１は、ネットワークＮＷを介して評価用画像をユーザ端末１０から受信する。受信部２１は、さらに、ユーザ端末１０から修正情報を受信する。受信部２１は、例えば、通信装置２０４によって実現される。受信部２１は、評価用画像及び修正情報を評価部２２に出力する。

評価部２２は、評価用画像に基づいて評価対象物のさびの程度に関する評価を行うための部分である。評価部２２は、ニューラルネットワークを用いて、評価対象物のさびの程度に関する評価を行う。ニューラルネットワークは、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）でもよく、再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）でもよい。評価部２２は、評価結果を送信部２３に出力する。

送信部２３は、ユーザ端末１０に評価結果を送信するための部分である。送信部２３は、ネットワークＮＷを介して評価結果をユーザ端末１０に送信する。送信部２３は、例えば、通信装置２０４によって実現される。なお、送信部２３は、評価結果をユーザ端末１０に出力（送信）しているので、出力部とみなされ得る。

次に、図４〜図１５の（ｂ）を参照して、評価システム１が行う評価方法を説明する。図４は、図１に示される評価システムが行う評価方法を示すシーケンス図である。図５は、図４に示される補正処理を詳細に示すフローチャートである。図６の（ａ）〜（ｆ）は、マーカの例を示す図である。図７は、歪み補正を説明するための図である。図８は、マーカを用いた評価領域の抽出を説明するための図である。図９の（ａ）は、評価対象物の実際の大きさの計算方法を説明するための図である。図９の（ｂ）は、焦点距離と３５ｍｍ換算の焦点距離との関係を示す図である。図１０の（ａ）及び（ｂ）は、色補正を説明するための図である。図１１は、ニューラルネットワークの一例を示す図である。図１２は、評価結果の一例を示す図である。図１３は、評価結果の表示例を示す図である。図１４は、除錆度の評価結果の一例を示す図である。図１５の（ａ）及び（ｂ）は、評価結果の修正例を示す図である。

図４に示される評価方法の一連の処理は、例えば、ユーザ端末１０のユーザが撮像装置１０７を用いて評価対象物を撮影することを契機として開始される。まず、画像取得部１１が評価対象物の撮像画像を取得する（ステップＳ０１）。例えば、画像取得部１１は、撮像装置１０７によって生成された評価対象物の画像を撮像画像として取得する。そして、画像取得部１１は、取得した撮像画像を補正部１３に出力する。

なお、評価対象物の撮像画像を取得する前に、評価対象物にマーカＭＫが付されてもよい。マーカＭＫは、後述の画像処理において、撮像画像を補正するために用いられる。マーカＭＫは、マーカＭＫの向きを特定可能な形状を有する。マーカＭＫは、上下方向及び幅方向の少なくともいずれかにおいて非対称である。具体的には、図６の（ａ）〜（ｆ）に示されるように、マーカＭＫは、白色が付された領域Ｒｗと黒色が付された領域Ｒｂとを含む。後述の画像処理を容易化するために、マーカＭＫは、四角形の縁Ｆ１を有している。縁Ｆ１は、領域Ｒｂの縁である。図６の（ｂ）〜（ｆ）に示されるように、マーカＭＫは、枠Ｆ２によって囲まれ、枠Ｆ２と領域Ｒｂとの間には、間隙Ｒｇａｐが設けられてもよい。

マーカＭＫは、シート状部材に描かれる。例えば、ユーザ端末１０のユーザが、マーカＭＫを含むシート状部材を評価対象物に直接張り付ける。ユーザは、ＵＡＶ（Unmanned Aerial Vehicle）又は伸縮棒等を用いて、マーカＭＫを含むシート状部材を評価対象物に張り付けてもよい。

なお、マーカＭＫは、互いに異なる色が付された２以上の領域から構成されていればよい。例えば、領域Ｒｗに付される色は、白色でなくてもよく、灰色等であってもよい。領域Ｒｂに付される色は、黒色でなくてもよく、彩度を有する色でもよい。本実施形態では、図６の（ａ）に示されるマーカＭＫが用いられる。

続いて、補正部１３は、撮像画像を補正する（ステップＳ０２）。図５に示されるように、ステップＳ０２の補正処理では、まず、補正部１３は、撮像画像の歪みを補正するために歪み補正を行う（ステップＳ２１）。評価対象物を正面から撮影した画像と比較して、撮像画像が歪むことがある。例えば、撮像装置１０７がデプスカメラである場合、撮像装置１０７と評価対象物の各位置との距離が得られる。この場合、補正部１３は、撮像装置１０７と評価対象物の各位置との距離に基づいて、撮像画像を正面から撮影した画像に変換することで歪み補正を行う。補正部１３は、評価対象物がパイプ等の局面を有する構造物である場合、歪み補正として局面補正をさらに行ってもよい。

補正部１３は、マーカＭＫを用いて歪み補正を行ってもよい。マーカＭＫが付された評価対象物の撮像画像は、マーカＭＫの画像（画像領域）であるマーカ領域Ｒｍを含む。この場合、まず、補正部１３は、撮像画像からマーカ領域Ｒｍを抽出する。補正部１３は、例えば、撮像画像に対して物体検出処理又はエッジ検出処理を行うことで、マーカ領域Ｒｍを抽出する。マーカＭＫが簡易な形状を有する場合には、物体検出処理よりもエッジ検出処理の方が、検出精度が高く、処理速度が速いことがあるので、エッジ検出処理が用いられてもよい。

そして、補正部１３は、抽出されたマーカ領域ＲｍがマーカＭＫの画像であるか否かを確認する。補正部１３は、例えば、マーカ領域Ｒｍに対してヒストグラムの平均化処理を行った後に、マーカ領域Ｒｍに対して二値化処理を行う。そして、補正部１３は、二値化されたマーカ領域ＲｍとマーカＭＫとを比較して、両者が一致する場合にマーカ領域ＲｍがマーカＭＫの画像であると判定する。これにより、撮像画像におけるマーカＭＫの頂点座標が取得される。補正部１３は、両者が一致しない場合にマーカ領域ＲｍがマーカＭＫの画像でないと判定し、マーカ領域Ｒｍの抽出を再度行う。

そして、補正部１３は、マーカ領域Ｒｍを用いて撮像画像におけるマーカＭＫの向きを計算する。マーカＭＫは、上下方向及び幅方向の少なくともいずれかにおいて非対称であるので、撮像画像におけるマーカＭＫの向きが計算され得る。そして、図７に示されるように、補正部１３は、撮像画像におけるマーカＭＫの頂点座標及び向きから、本来のマーカＭＫの形状が復元されるように、撮像画像を射影変換することで、撮像画像を正面から撮影した画像に変換する。具体的には、補正部１３は、頂点Ｐｍ１を原点とし、頂点Ｐｍ１から頂点Ｐｍ２に向かう方向をＸ１軸方向とし、頂点Ｐｍ１から頂点Ｐｍ４に向かう方向をＹ１軸方向とする。そして、補正部１３は、Ｘ１−Ｙ１座標系をＸ−Ｙ直交座標系に変換することで、マーカＭＫの形状を復元する。これにより、歪み補正が行われる。

続いて、補正部１３は、撮像画像から評価領域Ｒｅを抽出する（ステップＳ２２）。ここで、さび度及び除錆度の評価は、評価対象物の表面のうちの所定の面積を占める範囲（評価範囲）に対して行われる必要がある。このため、補正部１３は、当該評価範囲を撮像画像において決定し、評価領域Ｒｅとして抽出する。つまり、評価領域Ｒｅは、撮像画像のうちの評価範囲に対応する画像領域である。距離Ｄ１に応じて、撮像画像のうちの評価領域Ｒｅの大きさ（サイズ）が異なる。

補正部１３は、マーカ領域Ｒｍに基づいて、撮像画像から評価領域Ｒｅを抽出する。例えば、評価範囲が、マーカＭＫの各辺の長さを予め定められた倍率で延長した大きさであるとする。この場合、図８に示されるように、補正部１３は、マーカ領域Ｒｍの頂点Ｐｍ１〜Ｐｍ４の座標からマーカ領域Ｒｍの各辺の長さを計算する。そして、補正部１３は、マーカ領域Ｒｍの各辺を所定倍率（ここでは、５倍）で延長することで、撮像画像における評価範囲の大きさを特定する。補正部１３は、特定された評価範囲の大きさを有する領域を撮像画像から評価領域Ｒｅとして抽出する。評価領域Ｒｅには、マーカ領域Ｒｍが含まれていてもよいし、含まれていなくてもよい。

補正部１３は、マーカＭＫを用いることなく、距離Ｄ１に基づいて、撮像画像から評価領域Ｒｅを抽出してもよい。この場合、距離取得部１２は、距離Ｄ１を取得する。そして、図９の（ａ）に示されるように、補正部１３は、式（１）を用いて、距離Ｄ１、焦点距離ｆ１、及び撮像装置１０７が有する撮像素子Ｃｓの幅ｗ１に基づいて、実際の幅Ｗを計算する。幅Ｗは、撮像装置１０７によって撮像された評価対象物の撮影範囲の水平方向の長さである。焦点距離ｆ１は、撮像素子ＣｓからレンズＣｌまでの距離である。撮像装置１０７の撮像素子Ｃｓの幅ｗ１は、撮像素子Ｃｓの水平方向のサイズ（長さ）であり、予め定められている。

なお、補正部１３は、撮像画像に付されたＥＸＩＦ（Exchangeable Image File Format）情報から、実際の焦点距離ｆ１及び幅ｗ１を取得する。ＥＸＩＦ情報から焦点距離ｆ１及び幅ｗ１が得られなかった場合、補正部１３は、撮像装置１０７の名称を取得し、撮像装置１０７の名称を用いてデータベースを検索することで、焦点距離ｆ１及び幅ｗ１を取得する。ユーザが入力装置１０５を用いて焦点距離ｆ１及び幅ｗ１をユーザ端末１０に入力してもよい。

撮像素子Ｃｓの幅ｗ１ではなく、３５ｍｍ換算の幅ｗ２が得られる場合がある。この場合、補正部１３は、焦点距離ｆ１、３５ｍｍ換算の焦点距離ｆ２、及び幅ｗ２に基づいて、幅ｗ１を計算する。図９の（ｂ）に示されるように、撮像画角θは、３５ｍｍ換算の画角と等しい。このため、以下の関係式（２）が成り立つ。式（２）を整理すると、式（３）が得られる。補正部１３は、式（３）を用いて幅ｗ１を計算する。

補正部１３は、式（４）を用いて、焦点距離ｆ２及び幅ｗ２から幅Ｗを直接計算してもよい。

なお、補正部１３は、ＥＸＩＦ情報から、焦点距離ｆ２を取得する。ＥＸＩＦ情報から焦点距離ｆ２が得られなかった場合、補正部１３は、撮像装置１０７の名称を取得し、撮像装置１０７の名称を用いてデータベースを検索することで、焦点距離ｆ２を取得する。ユーザが入力装置１０５を用いて焦点距離ｆ２をユーザ端末１０に入力してもよい。

補正部１３は、式（５）に示されるように、撮像画像の幅方向（水平方向）の画素数Ｎｐｗで幅Ｗを除算することで、１画素当たりの幅ｗｐを計算する。補正部１３は、ＥＸＩＦ情報から画素数Ｎｐｗを取得する。補正部１３は、撮像画像における幅方向の画素をカウントすることによって、画素数Ｎｐｗを取得してもよい。

補正部１３は、幅Ｗと同様にして、撮像された部分の高さＨを計算する。高さＨは、撮像装置１０７によって撮像された評価対象物の撮影範囲の垂直方向の長さである。補正部１３は、式（６）に示されるように、撮像画像の高さ方向（垂直方向）の画素数Ｎｐｈで高さＨを除算することで、１画素当たりの高さｈｐを計算する。補正部１３は、ＥＸＩＦ情報から画素数Ｎｐｈを取得する。補正部１３は、撮像画像における高さ方向の画素をカウントすることによって、画素数Ｎｐｈを取得してもよい。

補正部１３は、１画素当たりの幅ｗｐ及び高さｈｐを用いて、撮像画像の中で評価領域Ｒｅを決定し、評価領域Ｒｅを抽出する。例えば、補正部１３は、撮像画像における評価範囲が幅方向及び高さ方向に有する画素数を計算する。補正部１３は、評価範囲の幅を幅ｗｐで除算し、その除算結果を幅方向の画素数とする。同様に、補正部１３は、評価範囲の高さを高さｈｐで除算し、その除算結果を高さ方向の画素数とする。そして、補正部１３は、幅方向の画素数及び高さ方向の画素数を有する領域を撮像画像から評価領域Ｒｅとして抽出する。

続いて、補正部１３は、評価領域Ｒｅのサイズを補正する（ステップＳ２３）。評価領域Ｒｅの大きさは、距離Ｄ１に応じて変化し得る。このため、サイズ補正では、補正部１３は、所定の評価サイズに合わせるために、評価領域Ｒｅの伸縮処理を行う。評価サイズは、ニューラルネットワークＮＮの学習に用いられる基準画像（教師データ）のサイズである。伸縮処理では、まず、補正部１３は、評価領域Ｒｅの大きさと評価サイズとを比較し、拡大処理及び縮小処理のいずれを行うかを決定する。

補正部１３は、評価領域Ｒｅの大きさが評価サイズよりも小さい場合には、拡大処理を行い、評価領域Ｒｅの大きさが評価サイズよりも大きい場合には、縮小処理を行う。つまり、補正部１３は、評価領域Ｒｅを拡大又は縮小することで、評価用画像のサイズを評価サイズに合わせる。拡大処理には、例えば、バイリニア補間法が用いられる。縮小処理には、例えば、平均画素法が用いられる。拡大処理及び縮小処理には、他の伸縮アルゴリズムが用いられてもよいが、伸縮処理を行っても画像の状態が保たれることが望ましい。

続いて、補正部１３は、評価領域Ｒｅの色補正を行う（ステップＳ２４）。同じ評価対象物であっても、撮影環境に応じて、画像の明暗が変化し得る。また、撮影に用いられた光源の色が異なると、画像の色も異なり得る。撮影環境の影響を低減するために、色補正が行われる。補正部１３は、撮像画像に含まれる参照領域の色に基づいて、評価領域Ｒｅの色を補正する。参照領域は、特定の色が付された参照体の画像（画像領域）である。

図１０の（ａ）に示されるように、参照体としては、マーカＭＫの領域Ｒｗが用いられ得る。この場合、マーカＭＫの領域Ｒｗの色がカラーメータ等で予め測定され、測定された色を示す基準値が不図示のメモリに記憶されている。色を示す値としては、ＲＧＢ値及びＨＳＶ値等が用いられる。図１０の（ｂ）に示されるように、補正部１３は、撮像画像（評価領域Ｒｅ）に含まれるマーカ領域Ｒｍにおける領域Ｒｗの色の値を取得し、取得した値と基準値とを比較して、これらの差分が小さく（例えば、ゼロに）なるように色補正を行う。色補正には、ガンマ補正等が用いられる。色補正として、各画素値に差分が加えられてもよい（オフセット処理）。

参照体としてマーカＭＫが用いられなくてもよい。この場合、予め色の測定が行われている試料（例えば、グレーボード）を参照体として、評価対象物とともに撮影することで、マーカＭＫを用いる場合と同様に評価領域Ｒｅの色補正が行われてもよい。補正部１３は、灰色仮説に基づいて色補正を行ってもよい。

続いて、補正部１３は、評価領域Ｒｅから鏡面反射を除去する（ステップＳ２５）。鏡面反射は、評価対象物が金属光沢を有する場合に引き起こされることがある。評価対象物の塗膜の状態によっても、鏡面反射が引き起こされることがある。画像では、鏡面反射を引き起こした部分は通常強い白色として現れる。つまり、鏡面反射を起こした部分は画像において白飛びを生じてしまう。色補正後には、鏡面反射を起こした部分は、白色部分として検出され得るので、補正部１３は、色補正後の画像（評価領域Ｒｅ）を用いて鏡面反射の除去を行う。

そこで、補正部１３は、評価領域Ｒｅに含まれる各画素の画素値に基づいて鏡面反射部分を特定する。例えば、補正部１３は、ＲＧＢの画素値がいずれも所定の閾値よりも大きい場合に当該画素は鏡面反射部分の一部であると判定する。補正部１３は、画素値をＨＳＶに変換し、明るさ（Ｖ）、又は明るさ（Ｖ）及び彩度（Ｓ）の両方に対して同様の閾値処理をすることで鏡面反射部分を特定してもよい。

そして、補正部１３は、鏡面反射部分から鏡面反射を除去し、元の画像情報（画素値）を復元する。補正部１３は、例えば、ナビエ・ストークスを用いた方法、及びＡｌｅｘａｎｄｒｕ Ｔｅｌｅａのファストマーチング方法等により、鏡面反射部分の近傍の画像情報で鏡面反射部分の画像情報を自動補間（復元）する。補正部１３は、機械学習により様々なさびの画像を予め学習しておくことで、鏡面反射部分の画像情報を復元してもよい。機械学習には、例えば、ＧＡＮ（Generative Adversarial Network）が用いられる。なお、補正部１３は、鏡面反射部分の外縁を拡張した領域（つまり、鏡面反射部分を含み、鏡面反射部分よりも大きい領域）に対して画像情報の復元を行ってもよい。

続いて、補正部１３は、評価領域Ｒｅからノイズを除去する（ステップＳ２６）。補正部１３は、例えば、ガウシアンフィルタ、及びローパスフィルタ等のデノイズフィルタ（デノイズ関数）を用いて、評価領域Ｒｅからノイズを除去する。

続いて、補正部１３は、評価領域Ｒｅのブレ補正を行う（ステップＳ２７）。ユーザがユーザ端末１０を用いて撮影を行う際に、手振れ等のブレが生じることがある。補正部１３は、例えば、Ｗｉｅｎｅｒフィルタ、及びブラインドデコンボリューションアルゴリズムを用いて画像のブレ補正を行う。

なお、図５の補正処理は、一例であって、補正部１３が行う補正処理はこれに限られない。ステップＳ２１，Ｓ２３〜Ｓ２７の一部又は全部は省略されてもよい。ステップＳ２１〜Ｓ２７は、任意の順番で行われてもよい。上述のように、色補正の後に鏡面反射除去を行う場合、画像において鏡面反射部分は強い白色として現れるので、鏡面反射部分の特定精度が向上する。

また、図７に示されるように、補正部１３は、マス目状に並んだ複数のブロックによってマーカ領域Ｒｍが構成されているとみなし、マーカ領域Ｒｍ（マーカＭＫ）の４頂点の座標を用いて、各ブロックの頂点座標を求めてもよい。これにより、補正部１３は、マーカ領域Ｒｍを複数のブロックに分割して取り扱うことができる。例えば、補正部１３は、各ブロックを用いて、マーカ領域ＲｍがマーカＭＫの画像であるか否かを判定する。また、補正部１３は、いずれかのブロックを、色補正に用いられる参照領域としてもよい。さらに、補正部１３は、各ブロックの座標から撮像画像の歪み具合を算出し、撮像装置１０７のキャリブレーションを行ってもよい。

続いて、補正部１３は、ステップＳ０２の補正処理によって補正された撮像画像を評価用画像として送信部１４に出力し、送信部１４は、ネットワークＮＷを介して評価用画像を評価装置２０に送信する（ステップＳ０３）。このとき、送信部１４は、ユーザ端末１０を一意に識別可能な端末ＩＤとともに、評価用画像を評価装置２０に送信する。端末ＩＤとして、例えば、ＩＰ（Internet Protocol）アドレスが用いられてもよい。そして、受信部２１は、ユーザ端末１０から送信された評価用画像を受信し、評価用画像を評価部２２に出力する。なお、補正部１３は、評価用画像の鮮明さが不足する場合には、評価用画像を送信部１４に出力しなくてもよい。また、送信部１４は、上述のように、評価用画像を暗号化し、暗号化された評価用画像を評価装置２０に送信してもよい。この場合、受信部２１は、暗号化された評価用画像をユーザ端末１０から受信し、暗号化された評価用画像を復号して、評価部２２に出力する。

続いて、評価部２２は、評価用画像に基づいて、評価対象物のさびの程度に関する評価を行う（ステップＳ０４）。この例では、評価部２２は、図１１に示されるニューラルネットワークＮＮを用いて、評価対象物のさび度及び除錆度を評価する。なお、評価部２２は、評価用画像を受け取ると、評価用画像を一意に識別可能な画像ＩＤを評価用画像に付与する。

ニューラルネットワークＮＮは、評価用画像を入力し、各カテゴリの適合率を出力する。カテゴリとしては、さび度のグレード、除錆度のグレード、及びその組み合わせが用いられ得る。さび度のグレードとしては、例えば、ＪＩＳ（Japanese Industrial Standards） Ｚ０３１３で規定されたグレードＡ〜Ｄが用いられる。グレードＡ，Ｂ，Ｃ，Ｄの順に、評価対象物に発生しているさびの程度が大きくなる。除錆度のグレードとしては、例えば、ＪＩＳ Ｚ０３１３で規定されたグレードＳｔ２，Ｓｔ３，Ｓａ１，Ｓａ２，Ｓａ２．５，Ｓａ３が用いられる。ＪＩＳ Ｚ０３１３では、除錆処理を施していない状態に対応するグレードは規定されていないが、以下の説明では便宜上グレードＲＡＷとする。さび度のグレード及び除錆度のグレードとして、他のグレードが用いられてもよい。例えば、さび度のグレードとして、ＩＳＯ（International Organization for Standardization）、ＳＩＳ（Swedish Standard）、ＳＳＰＣ（Steel Structures Painting Council）、ＳＰＳＳ（Standard for the Preparation of Steel Surface prior to Painting）、及びＮＡＣＥ（the National Association of Corrosion Engineers）等の規格で規定されたグレードが用いられてもよい。除錆度のグレードとして、ＩＳＯ、ＳＳＰＣ、ＳＰＳＳ、及びＮＡＣＥ等の規格で規定されたグレードが用いられてもよい。

図１２に示されるように、本実施形態では、カテゴリとして、さび度のグレードと除錆度のグレードとの組み合わせが用いられる。適合率は、評価対象物のさびの程度がそのカテゴリ（グレード）に属する確率を表している。適合率が大きいほど、評価対象物のさびの程度がそのカテゴリ（グレード）に属する可能性が高いことを意味する。なお、グレードＡ＋グレードＳｔ２、グレードＡ＋グレードＳｔ３、グレードＡ＋グレードＳａ１、及びグレードＡ＋グレードＳａ２は、いずれの規格にも存在しないが、ここでは、便宜上、これらの組み合わせも含めて説明する。これらの組み合わせは、ユーザによって設定されてもよく、省略されてもよい。

評価部２２は、評価用画像を１又は複数のチャネルに分離して、各チャネルの画像情報（画素値）をニューラルネットワークＮＮの入力としてもよい。評価部２２は、例えば、評価用画像を色空間の各成分に分離する。色空間としてＲＧＢ色空間が用いられる場合には、評価部２２は、評価用画像をＲ成分の画素値、Ｇ成分の画素値、及びＢ成分の画素値に分離する。色空間としてＨＳＶ色空間が用いられる場合には、評価部２２は、評価用画像をＨ成分の画素値、Ｓ成分の画素値、及びＶ成分の画素値に分離する。評価部２２は、評価用画像をグレースケールに変換し、変換した画像をニューラルネットワークＮＮの入力としてもよい。

図１１に示されるように、ニューラルネットワークＮＮは、入力層Ｌ１と、中間層Ｌ２と、出力層Ｌ３と、を有する。入力層Ｌ１は、ニューラルネットワークＮＮの入口に位置し、入力層Ｌ１には、Ｍ個の入力値ｘ_ｉ（ｉは１〜Ｍの整数）が入力される。入力層Ｌ１は、複数のニューロン４１を有する。ニューロン４１は、入力値ｘ_ｉに対応して設けられており、ニューロン４１の数は、入力値ｘ_ｉの総数Ｍと等しい。つまり、ニューロン４１の数は、評価用画像の各チャネルに含まれる画素数の総和と等しい。ｉ番目のニューロン４１は、入力値ｘ_ｉを、中間層Ｌ２の第１中間層Ｌ２１の各ニューロン４２１に出力する。入力層Ｌ１は、ノード４１ｂを含む。ノード４１ｂは、各ニューロン４２１にバイアス値ｂ_ｊ（ｊは１〜Ｍ１の整数）を出力する。

中間層Ｌ２は、入力層Ｌ１と出力層Ｌ３との間に位置する。中間層Ｌ２は、ニューラルネットワークＮＮの外部から隠れているので隠れ層とも呼ばれる。中間層Ｌ２は、１又は複数の層を含む。図１１に示される例では、中間層Ｌ２は、第１中間層Ｌ２１と第２中間層Ｌ２２とを含む。第１中間層Ｌ２１は、Ｍ１個のニューロン４２１を有する。このとき、ｊ番目のニューロン４２１は、式（７）に示されるように、各入力値ｘ_ｉを重み係数ｗ_ｉｊによって重み付けした値の総和に、さらにバイアス値ｂ_ｊを加算することで計算値ｚ_ｊを得る。なお、ニューラルネットワークＮＮが畳み込みニューラルネットワークである場合には、ニューロン４２１は、例えば、畳み込み、活性化関数を用いた計算、及びプーリングを順に行う。この場合、活性化関数には、例えば、ＲｅＬＵ関数が用いられる。

そして、ｊ番目のニューロン４２１は、第２中間層Ｌ２２の各ニューロン４２２に計算値ｚ_ｊを出力する。第１中間層Ｌ２１は、ノード４２１ｂを含む。ノード４２１ｂは、各ニューロン４２２にバイアス値を出力する。以下、各ニューロンは、ニューロン４２１と同様の計算を行い、後段の層の各ニューロンに計算値を出力する。中間層Ｌ２の最終段のニューロン（ここでは、ニューロン４２２）は、出力層Ｌ３の各ニューロン４３に計算値を出力する。

出力層Ｌ３は、ニューラルネットワークＮＮの出口に位置し、出力値ｙ_ｋ（ｋは１〜Ｎの整数）を出力する。出力値ｙ_ｋは、各カテゴリに割り当てられており、そのカテゴリの適合率に対応する値である。出力層Ｌ３は、複数のニューロン４３を有する。ニューロン４３は、出力値ｙ_ｋに対応して設けられており、ニューロン４３の数は、出力値ｙ_ｋの総数Ｎと等しい。つまり、ニューロン４３の数は、さびの程度を示すカテゴリの数と等しい。各ニューロン４３は、ニューロン４２１と同様の計算を行い、その計算結果を引数として活性化関数を計算し、出力値ｙ_ｋを得る。活性化関数の例としては、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、双曲線関数、シグモイド関数、恒等関数、及びステップ関数が挙げられる。本実施形態では、ｓｏｆｔｍａｘ関数が用いられる。このため、各出力値ｙ_ｋは、Ｎ個の出力値ｙ_ｋの合計が１になるように正規化されている。つまり、出力値ｙ_ｋに１００を乗算することによって、適合率（％）が得られる。

続いて、評価部２２は、例えば、Ｎ個の出力値ｙ_ｋを評価用画像の画像ＩＤとともに評価用画像の評価結果として送信部２３に出力する。Ｎ個の出力値ｙ_ｋの配列は予め定められており、各出力値ｙ_ｋは、Ｎ個のカテゴリのいずれかのカテゴリに対応付けられている。なお、評価部２２は、Ｎ個の出力値ｙ_ｋのうち、最も大きい出力値をその出力値に対応するカテゴリ名又はインデックス（図１２に示される「番号」に相当）とともに評価結果としてもよい。ここでは、図１２に示される適合率に対応する出力値の配列が評価結果として送信部２３に出力される。この場合、ユーザ端末１０が、ユーザにどのように出力するかを決定することができる。

そして、送信部２３は、ネットワークＮＷを介して評価結果をユーザ端末１０に送信する（ステップＳ０５）。このとき、送信部２３は、評価用画像とともにユーザ端末１０から送信された端末ＩＤに基づいて、送信先のユーザ端末１０を識別し、当該ユーザ端末１０に評価結果を送信する。そして、受信部１５は、評価装置２０から送信された評価結果を受信し、評価結果を出力部１６に出力する。なお、送信部２３は、上述のように、評価結果を暗号化し、暗号化された評価結果をユーザ端末１０に送信してもよい。この場合、受信部１５は、暗号化された評価結果を評価装置２０から受信し、暗号化された評価結果を復号して、出力部１６に出力する。

続いて、出力部１６は、評価結果をユーザに通知するための出力情報を生成し、出力情報に基づいて評価結果をユーザに出力する（ステップＳ０６）。

図１３の表示例では、散布図が用いられる。散布図の縦軸は、除錆処理前のグレード（さび度のグレード）を示し、散布図の横軸は、除錆処理後のグレード（除錆度のグレード）を示す。カラーバーは、適合率に応じた色を示している。散布図において、除錆処理前のグレードと除錆処理後のグレードとの交点にプロットされる点によって、そのカテゴリの適合率が示される。点の色及び大きさは、点に対応するカテゴリの適合率に応じて設定される。点に対応するカテゴリの適合率が大きいほど、点の大きさも大きくなる。点の色は、点に対応するカテゴリの適合率に対応した色に設定される。

点Ｐ１は、グレードＢとグレードＲＡＷとの交点に位置し、１５％に対応する色を有している。つまり、点Ｐ１は、除錆処理前のグレードがグレードＢであり、除錆処理後のグレードがグレードＲＡＷ（除錆処理を施していない状態）であるカテゴリの適合率が１５％であることを示している。同様に、点Ｐ２は、除錆処理前のグレードがグレードＢであり、除錆処理後のグレードがグレードＳａ１であるカテゴリの適合率が５％であることを示している。同様に、点Ｐ３は、除錆処理前のグレードがグレードＤであり、除錆処理後のグレードがグレードＳａ１であるカテゴリの適合率が８５％であることを示している。

この表示例では、最も大きい適合率を有するカテゴリの除錆処理後のグレードがグレードＲＡＷである場合には、そのカテゴリの除錆処理前のグレードがさび度として用いられる。一方、最も大きい適合率を有するカテゴリの除錆処理後のグレードがグレードＲＡＷ以外である場合には、そのカテゴリの除錆処理後のグレードが除錆度として用いられる。

図１３の表示例では、除錆処理後のグレードが同一であっても、除錆処理前のグレードによって異なるカテゴリに分類される。しかし、評価対象物の除錆度を評価する場合には、さびがどの程度除去されたかが重要である。このため、出力部１６は、除錆処理後のグレードごとに適合率を統合し、除錆処理後のグレードごとの適合率を表示してもよい。例えば、図１４に示されるように、グレードＲＡＷの適合率は、グレードＡ＋グレードＲＡＷの適合率、グレードＢ＋グレードＲＡＷの適合率、グレードＣ＋グレードＲＡＷの適合率、及びグレードＤ＋グレードＲＡＷの適合率の合計であるので、１５％（＝０＋１５＋０＋０）である。グレードＳｔ２，Ｓｔ３，Ｓａ２，Ｓａ２．５，Ｓａ３の適合率はいずれも０％であり、グレードＳａ１の適合率は、８５％（＝０＋５＋０＋８０）である。出力部１６は、除錆処理後のグレードごとの適合率に各グレードの分類係数を乗算し、乗算結果を足し合わせることで、評価結果を数値化してもよい。

出力部１６は、評価結果を用いて、除錆処理が合格であるか不合格であるかをユーザに通知してもよい。

同様に、評価対象物のさび度を評価する場合には、出力部１６は、除錆処理前のグレードごとに適合率を統合し、除錆処理前のグレードごとの適合率を表示してもよい。

出力部１６は、テキストで評価結果を表示してもよい。出力部１６は、例えば、適合率が最も高いカテゴリのグレード名と、その適合率とをテキストで表示する。例えば、出力部１６は、「結果：［除錆処理前］グレードＤ→［除錆処理後］グレードＳａ１（８０％）」等と表示する。出力部１６は、全てのカテゴリのグレード名とその適合率とをテキストで表示してもよい。

出力部１６は、音声で評価結果を出力してもよく、振動で評価結果を出力してもよい。出力部１６による出力の形態は、ユーザによって設定されてもよい。

続いて、修正情報取得部１７は、ユーザによって評価結果の修正操作が行われたか否かを判定する。例えば、ユーザは、出力部１６によって出力された評価結果を確認した後、入力装置１０５を用いて評価結果を修正するための画面を表示するように操作する。

例えば、図１５の（ａ）に示されるように、ユーザは、入力装置１０５を操作して、ポインタＭＰを用いて、散布図上でカテゴリを指定する。つまり、ユーザが評価対象物を目視で検査することによってカテゴリを判定し、ユーザによって判定されたカテゴリに対応する除錆処理前のグレードと除錆処理後のグレードとの交点に、点Ｐｕがプロットされる。

図１５の（ｂ）に示されるように、出力部１６がカテゴリのグレード名とラジオボタンとを表示し、ユーザが入力装置１０５を操作して、ポインタＭＰを用いてラジオボタンをチェックすることで、ユーザによって判定されたカテゴリが選択されてもよい。ユーザがカテゴリを選択するために、ドロップダウンリスト、又はスライダ等のオブジェクトが用いられてもよい。

修正情報取得部１７が修正操作は行われなかったと判定した場合、評価システム１による評価方法の一連の処理が終了する。一方、修正情報取得部１７は、入力装置１０５によって修正操作が行われたと判定した場合、修正後のカテゴリを示す情報を、当該修正操作が行われた評価用画像の画像ＩＤとともに修正情報として取得する（ステップＳ０７）。

そして、修正情報取得部１７は、修正情報を送信部１４に出力し、送信部１４は、ネットワークＮＷを介して修正情報を評価装置２０に送信する（ステップＳ０８）。そして、受信部２１は、ユーザ端末１０から送信された修正情報を受信し、修正情報を評価部２２に出力する。なお、送信部１４は、上述のように、修正情報を暗号化し、暗号化された修正情報を評価装置２０に送信してもよい。この場合、受信部２１は、暗号化された修正情報をユーザ端末１０から受信し、暗号化された修正情報を復号して、評価部２２に出力する。

続いて、評価部２２は、修正情報に基づいて学習を行う（ステップＳ０９）。具体的には、評価部２２は、修正後のカテゴリと評価用画像との組を教師データとする。評価部２２は、オンライン学習、ミニバッチ学習、及びバッチ学習のいずれの方法でニューラルネットワークＮＮの学習を行ってもよい。オンライン学習は、新たな教師データを取得するごとにその教師データを用いて学習を行う方法である。ミニバッチ学習は、一定量の教師データを１単位として、１単位の教師データを用いて学習を行う方法である。バッチ学習は、全ての教師データを用いて学習を行う方法である。学習には、バックプロパゲーション等のアルゴリズムが用いられる。なお、ニューラルネットワークＮＮの学習とは、ニューラルネットワークＮＮで用いられる重み係数及びバイアス値をより最適な値に更新することを意味する。

以上のようにして、評価システム１による評価方法の一連の処理が終了する。

なお、ユーザ端末１０及び評価装置２０における各機能部は、各機能を実現させるためのプログラムモジュールが、ユーザ端末１０及び評価装置２０を構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含む評価プログラムは、例えば、ＲＯＭ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、評価プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上説明した評価システム１、評価装置２０、評価方法、評価プログラム、及び記録媒体では、評価対象物の撮像画像から評価領域Ｒｅが抽出され、評価領域Ｒｅに基づいて評価用画像が生成される。そして、評価用画像に基づいてさびの程度に関する評価が行われ、評価結果が出力される。評価領域Ｒｅは、評価対象物の表面のうちの所定の面積を有する範囲の画像である。このため、撮像画像が撮像された条件（評価対象物と撮像装置１０７との距離、及び倍率等）によらずに、評価対象物の表面のうちの同じ面積を有する範囲を対象として、その範囲内に生じているさびの程度に関する評価が行われる。その結果、さびの程度に関する評価精度を向上させることが可能となる。具体的には、評価用画像に基づいてさび度及び除錆度の評価が行われる。このため、さび度及び除錆度の評価精度を向上させることが可能となる。このように、撮像装置１０７として汎用機を用いることができ、撮像装置１０７と評価対象物との距離Ｄ１を自由に変えることができる。

マーカＭＫは、マーカＭＫの向きを特定可能な形状を有している。このため、撮像画像に含まれるマーカ領域Ｒｍの向き及び大きさを基準として、撮像画像において評価対象物の表面のうちの所定の面積を有する範囲が決定され、決定された範囲が評価領域Ｒｅとして抽出され得る。これにより、他の情報を用いることなく、評価領域Ｒｅを抽出することができる。したがって、評価システム１を小型化することが可能となる。

撮像画像を生成した撮像装置１０７と評価対象物との距離Ｄ１に基づいて、評価対象物の表面のうちの所定の面積を有する範囲を特定することができるので、評価領域Ｒｅをより正確に抽出することが可能となる。

同じ評価対象物であっても、撮影に用いられた光源の色調によって、撮像画像の色調が変わることがある。また、同じ評価対象物であっても、光の照射量によって、撮像画像の明るさが異なることがある。このため、撮像画像に含まれる参照領域（例えば、マーカ領域Ｒｍにおける領域Ｒｗ）の色に基づいて、評価領域Ｒｅの色が補正される。マーカ領域Ｒｍにおける領域Ｒｗの色が、マーカＭＫにおける領域Ｒｗの色（白色）と異なっている場合、撮像画像における色が光の影響を受けていると考えられる。そこで、マーカ領域Ｒｍにおける領域Ｒｗの色がマーカＭＫにおける領域Ｒｗの色になるように、評価領域Ｒｅの色の補正が行われる。これにより、光の影響を低減することができる。その結果、さび度及び除錆度の評価精度をさらに向上させることが可能となる。

評価対象物に強い光が照射されると鏡面反射が生じることがあり、その状態で評価対象物が撮像されると撮像画像に白飛びが生じることがある。白飛びが生じている領域では、色情報が失われている。このため、評価領域Ｒｅから鏡面反射（白飛び）を除去することで、色情報が復元され得る。これにより、さび度及び除錆度の評価精度をさらに向上させることが可能となる。

ニューラルネットワークＮＮを用いてさび度及び除錆度の評価が行われる。除錆処理前のさびの模様、及び除錆処理後のさびの模様は、不定形である。このため、一般的な物体検出では、不定形な物体の位置及び状態を特定することが困難であり、パターン認識では無数に存在する模様を認識することには向いていない。これに対し、ニューラルネットワークＮＮを学習させることによって、さび度及び除錆度の評価が可能となり、さび度及び除錆度の評価精度をさらに向上させることが可能となる。

評価領域Ｒｅを拡大又は縮小することで、評価用画像のサイズがニューラルネットワークＮＮの学習に用いられる基準画像（教師データ）のサイズに合わせられる。このため、ニューラルネットワークＮＮによる評価を適切に行うことができる。

（第２実施形態）
図１６は、第２実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。図１６に示される評価システム１Ａは、ユーザ端末１０に代えてユーザ端末１０Ａを備える点、及び評価装置２０に代えて評価装置２０Ａを備える点において、評価システム１と主に相違する。

ユーザ端末１０Ａは、補正部１３を備えない点、及び評価用画像に代えて撮像画像及び距離Ｄ１を評価装置２０Ａに送信する点においてユーザ端末１０と主に相違する。なお、ユーザ端末１０Ａでは、画像取得部１１は、撮像画像を送信部１４に出力する。距離取得部１２は、距離Ｄ１を送信部１４に出力する。送信部１４は、撮像画像及び距離Ｄ１を評価装置２０Ａに送信する。

評価装置２０Ａは、評価用画像に代えて撮像画像及び距離Ｄ１をユーザ端末１０Ａから受信する点、及び補正部２４をさらに備える点において評価装置２０と主に相違する。受信部２１は、撮像画像及び距離Ｄ１をユーザ端末１０Ａから受信し、撮像画像及び距離Ｄ１を補正部２４に出力する。なお、受信部２１は、撮像画像をユーザ端末１０Ａから取得しているので、画像取得部とみなされ得る。補正部２４は、補正部１３と同様の機能を有する。つまり、補正部２４は、撮像画像から評価領域を抽出し、評価領域に基づいて評価用画像を生成する。そして、補正部２４は、評価用画像を評価部２２に出力する。

次に、図１７を参照して、評価システム１Ａが行う評価方法を説明する。図１７は、図１６に示される評価システムが行う評価方法を示すシーケンス図である。まず、画像取得部１１が評価対象物の撮像画像を取得する（ステップＳ３１）。例えば、画像取得部１１は、ステップＳ０１と同様に、撮像装置１０７によって生成された評価対象物の画像を撮像画像として取得する。

そして、画像取得部１１は、取得した撮像画像を送信部１４に出力し、送信部１４は、ネットワークＮＷを介して撮像画像を評価装置２０Ａに送信する（ステップＳ３２）。このとき、送信部１４は、ユーザ端末１０Ａを一意に識別可能な端末ＩＤとともに、撮像画像を評価装置２０Ａに送信する。そして、受信部２１は、ユーザ端末１０Ａから送信された撮像画像を受信し、撮像画像を補正部２４に出力する。なお、送信部１４は、上述のように、撮像画像を暗号化し、暗号化された撮像画像を評価装置２０Ａに送信してもよい。この場合、受信部２１は、暗号化された撮像画像をユーザ端末１０Ａから受信し、暗号化された撮像画像を復号して、補正部２４に出力する。

続いて、補正部２４は、撮像画像を補正する（ステップＳ３３）。ステップＳ３３の処理は、ステップＳ０２の処理と同様であるので、その詳細な説明を省略する。補正部２４は、ステップＳ３３の補正処理によって補正された撮像画像を評価用画像として、評価部２２に出力する。以降、ステップＳ３４〜ステップＳ３９の処理は、ステップＳ０４〜ステップＳ０９の処理と同様であるので、その詳細な説明を省略する。以上のようにして、評価システム１Ａによる評価方法の一連の処理が終了する。

なお、ユーザ端末１０Ａ及び評価装置２０Ａにおける各機能部は、各機能を実現させるためのプログラムモジュールが、ユーザ端末１０Ａ及び評価装置２０Ａを構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含む評価プログラムは、例えば、ＲＯＭ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、評価プログラムは、データ信号としてネットワークを介して提供されてもよい。

第２実施形態に係る評価システム１Ａ、評価装置２０Ａ、評価方法、評価プログラム、及び記録媒体においても、第１実施形態に係る評価システム１、評価装置２０、評価方法、評価プログラム、及び記録媒体と同様の効果が奏される。また、第２実施形態に係る評価システム１Ａ、評価装置２０Ａ、評価方法、評価プログラム、及び記録媒体では、ユーザ端末１０Ａが補正部１３を有しないので、ユーザ端末１０Ａの処理負荷を軽減することができる。また、第２実施形態に係る評価システム１Ａ、評価装置２０Ａ、評価方法、評価プログラム、及び記録媒体では、評価装置２０Ａに撮像画像及び距離Ｄ１が蓄積されるので、評価装置２０Ａでのデータ拡張が容易にでき、ニューラルネットワークＮＮをより効果的に学習させることが可能となる。

（第３実施形態）
図１８は、第３実施形態に係る評価装置を含む評価システムを概略的に示す構成図である。図１８に示される評価システム１Ｂは、ユーザ端末１０に代えてユーザ端末１０Ｂを備える点、及び評価装置２０を備えない点において、評価システム１と主に相違する。ユーザ端末１０Ｂは、評価部１８をさらに備える点、並びに、送信部１４及び受信部１５を備えない点においてユーザ端末１０と主に相違する。この場合、ユーザ端末１０Ｂは、スタンドアロン型の評価装置でもある。

なお、ユーザ端末１０Ｂでは、補正部１３は、評価用画像を評価部１８に出力する。修正情報取得部１７は、修正情報を評価部１８に出力する。評価部１８は、評価部２２と同様の機能を有する。つまり、評価部１８は、評価用画像に基づいて評価対象物のさびの程度に関する評価を行う。そして、評価部１８は、評価結果を出力部１６に出力する。

次に、図１９を参照して、評価システム１Ｂ（ユーザ端末１０Ｂ）が行う評価方法を説明する。図１９は、図１８に示される評価システムが行う評価方法を示すフローチャートである。

まず、画像取得部１１が、ステップＳ０１と同様に評価対象物の撮像画像を取得する（ステップＳ４１）。そして、画像取得部１１は、撮像画像を補正部１３に出力する。続いて、補正部１３は、撮像画像を補正する（ステップＳ４２）。ステップＳ４２の処理は、ステップＳ０２の処理と同様であるので、その詳細な説明を省略する。そして、補正部１３は、ステップＳ４２の補正処理によって補正された撮像画像を評価用画像として、評価部１８に出力する。

続いて、評価部１８は、評価用画像に基づいて、評価対象物のさびの程度に関する評価を行う（ステップＳ４３）。ステップＳ４３の処理は、ステップＳ０４の処理と同様であるので、その詳細な説明を省略する。そして、評価部１８は、評価結果を出力部１６に出力する。続いて、出力部１６は、評価結果をユーザに通知するための出力情報を生成し、出力情報に基づいて評価結果をユーザに出力する（ステップＳ４４）。ステップＳ４４の処理は、ステップＳ０６の処理と同様であるので、その詳細な説明を省略する。

続いて、修正情報取得部１７は、ユーザによって評価結果の修正操作が行われたか否かを判定する（ステップＳ４５）。修正情報取得部１７が、修正操作が行われなかったと判定した場合（ステップＳ４５：ＮＯ）、評価システム１Ｂによる評価方法の一連の処理は終了する。一方、修正情報取得部１７は、修正操作が行われたと判定した場合（ステップＳ４５：ＹＥＳ）、修正後のカテゴリを示す情報を、当該修正操作が行われた評価用画像の画像ＩＤとともに修正情報として取得する。そして、修正情報取得部１７は、修正情報を評価部１８に出力する。

続いて、評価部１８は、修正情報に基づいて学習を行う（ステップＳ４６）。ステップＳ４６の処理は、ステップＳ０９の処理と同様であるので、その詳細な説明を省略する。以上のようにして、評価システム１Ｂによる評価方法の一連の処理が終了する。

なお、ユーザ端末１０Ｂにおける各機能部は、各機能を実現させるためのプログラムモジュールが、ユーザ端末１０Ｂを構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含む評価プログラムは、例えば、ＲＯＭ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、評価プログラムは、データ信号としてネットワークを介して提供されてもよい。

第３実施形態に係る評価システム１Ｂ、ユーザ端末１０Ｂ、評価方法、評価プログラム、及び記録媒体においても、第１実施形態に係る評価システム１、評価装置２０、評価方法、評価プログラム、及び記録媒体と同様の効果が奏される。また、第３実施形態に係る評価システム１Ｂ、ユーザ端末１０Ｂ、評価方法、評価プログラム、及び記録媒体では、ネットワークＮＷを介したデータの送受信を行う必要がないので、ネットワークＮＷを介した通信に伴うタイムラグが生じず、応答速度を向上させることが可能となる。また、ネットワークＮＷのトラフィック及び通信料を削減することが可能となる。

なお、本発明に係る評価システム、評価装置、評価方法、評価プログラム、及び記録媒体は上記実施形態に限定されない。

例えば、補正部１３，２４が補正処理において距離Ｄ１を用いない場合には、ユーザ端末１０，１０Ａ，１０Ｂは、距離取得部１２を備えていなくてもよい。

また、ユーザによる評価結果の修正を行わない場合には、ユーザ端末１０，１０Ａ，１０Ｂは、修正情報取得部１７を備えていなくてもよい。

また、ニューラルネットワークＮＮでは、バッチ正規化が行われてもよい。バッチ正規化とは、各層の出力値を分散が一定になるように変換する処理である。この場合、バイアス値を用いる必要が無いので、バイアス値を出力するノード（ノード４１ｂ、及びノード４２１ｂ等）が省略され得る。

また、評価部１８，２２は、ニューラルネットワーク以外の手法を用いて、評価用画像に基づいてさびの程度に関する評価を行ってもよい。

また、出力部１６は、評価結果を不図示のメモリ（記憶装置）に出力し、評価結果をメモリに保存してもよい。出力部１６は、例えば、評価結果を一意に識別可能な管理番号、及び当該評価が行われた日付等と評価結果とを対応付けた管理データを作成し、管理データを保存する。

評価システム１，１Ａ，１Ｂを診断ツールとして用いてもよい。ここでは、評価システム１を診断ツールに用いる変形例について説明する。図２０は、変形例に係る評価システムを概略的に示す構成図である。塗装されている鋼材では、例えば、塗膜を水分がすり抜ける等して塗膜の下にさびが生じることで、塗膜が浮き上がり、塗膜剥離が生じる。塗膜剥離は、下地（金属素地）に塗られた塗料の膜（塗膜）がうろこ状に剥がれ出している状態である。塗膜剥離が生じると、下地が露出するので、さびがさらに発生しやすくなる。耐候性鋼のような鋼材は、無塗装で用いられ得る。このような無塗装の鋼材では、塗膜が無いためにさびによる塗膜剥離は生じないが、さびは、鋼材に部分的に発生することがある。例えば、評価対象物が鋼橋である場合、評価対象物の表面全体に対してさびの評価を行うことは非効率的である。

このため、図２０に示される変形例の評価システム１は、評価対象物全体又は評価対象物の一部を撮像した撮像画像から、さびが生じている領域（候補領域Ｒｃ）を抽出した上で、評価を行う。本変形例の評価システム１では、さびの程度に関する評価には、評価対象物におけるさびの分布具合が含まれる。

変形例の評価システム１は、抽出部１９をさらに備える。抽出部１９は、撮像画像Ｇから候補領域Ｒｃを抽出するための部分である。図２１の（ａ）に示されるように、抽出部１９は、撮像画像Ｇのスクリーニングを行い、塗膜剥離（さび）を含む領域を候補領域Ｒｃとして検出する。抽出部１９は、例えば、物体検出処理を行うことにより、候補領域Ｒｃを検出する。物体検出処理には、カスケード分類器、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、及びニューラルネットワークを用いた手法等の画像認識技術が用いられる。抽出部１９は、例えば、汚れと塗膜剥離（さび）とを区別して検出し、汚れが付着している領域を検出しない。

図２１の（ｂ）に示されるように、抽出部１９は、候補領域Ｒｃを含む領域Ｒｅｘを抽出し、領域Ｒｅｘを補正部１３に出力する。なお、抽出部１９は、候補領域Ｒｃが所定のサイズよりも大きい場合には、候補領域Ｒｃを分割し、分割した各領域を含む複数の領域Ｒｅｘを補正部１３に出力する。補正部１３は、領域Ｒｅｘに対して上述の補正を行うことで、評価用画像を生成する。

評価部２２において用いられるカテゴリとしては、例えば、塗膜剥離の大きさを示すグレードと、塗膜剥離の程度を示すグレードと、の組み合わせが用いられ得る。塗膜剥離の大きさのグレードとしては、例えば、ＳＳＰＣ規格において規定されている「全体」、「スポット」、及び「ピンポイント」が用いられる。塗膜剥離の程度を示すグレードとしては、例えば、「異常なし」、及び「剥離はじめ」が用いられる。

以上の変形例の評価システム１においても、上述した第１実施形態に係る評価システム１と同様の効果が奏される。変形例の評価システム１では、撮像画像Ｇから、さびが生じている候補領域Ｒｃが抽出され、候補領域Ｒｃを用いてさびの程度に関する評価が行われる。このため、評価対象物の表面全体を評価する必要が無いので、さびの程度に関する評価効率を向上させることが可能となる。

マーカＭＫの形状は、正方形に限られない。マーカＭＫの形状は、長方形であってもよい。

上記実施形態では、マーカＭＫは、マーカＭＫの向きを特定可能な形状を有しているが、マーカＭＫの形状は指向性を有する形状に限られない。マーカＭＫの形状は、無指向性の形状であってもよい。例えば、図２２の（ａ）に示されるように、領域Ｒｂの形状が正方形であり、領域Ｒｗの形状が領域Ｒｂよりも一回り小さい正方形であってもよい。領域Ｒｂの中心点と領域Ｒｗの中心点とが重なり、かつ領域Ｒｂの各辺と領域Ｒｗの各辺とが互いに平行となるように配置されていてもよい。

図２２の（ｂ）に示されるように、マーカＭＫは、開口部Ｈｍを有してもよい。開口部Ｈｍは、マーカＭＫが描かれるシート状部材を貫通する貫通孔である。開口部Ｈｍの開口面積は、評価範囲の面積と等しい。このマーカＭＫが評価対象物に付された場合、評価対象物の表面が開口部Ｈｍを介して露出する。開口部Ｈｍの開口面積が評価範囲の面積と等しいので、補正部１３，２４は、開口部Ｈｍを介して露出する評価対象物の表面の画像を評価領域Ｒｅとして抽出する。これにより、評価領域Ｒｅの抽出を簡易化することができる。

なお、開口部Ｈｍの開口面積は、評価範囲の面積よりも大きくてもよい。この場合、補正部１３，２４は、評価領域Ｒｅの抽出の前処理として、撮像画像から開口部Ｈｍを介して露出している領域を抽出してもよい。そして、補正部１３，２４は、抽出した領域から評価領域Ｒｅを抽出してもよい。

このように、マーカＭＫの形状によらず、撮像画像に含まれるマーカ領域Ｒｍの大きさを基準として、撮像画像において評価対象物の表面のうちの所定の面積を有する範囲が決定され、評価領域Ｒｅとして抽出され得る。これにより、他の情報を用いることなく、評価領域Ｒｅを抽出することができる。したがって、評価システム１，１Ａ，１Ｂを小型化することが可能となる。

図２２の（ａ）に示されるように、マーカＭＫが無指向性の形状を有している場合、マーカＭＫの形状が単純であるので、マーカＭＫの作成を容易化することができる。また、マーカＭＫの向きは重要ではないので、ユーザが評価対象物の撮影を容易に行うことができる。

枠Ｆ２に囲まれていないマーカＭＫを用いた場合、光の反射等に起因してマーカ領域Ｒｍと評価対象物の領域との境界が不明確となることがある。このような場合には、エッジ検出処理では、エッジを検出できない場合がある。物体検出では、判定閾値を小さくし過ぎると誤検出が多くなり、判定閾値を大きくし過ぎると検出漏れが多くなる。また、物体検出自体ではマーカ領域Ｒｍの向き（角度）を得ることができない。さらに、物体検出処理でマーカ領域Ｒｍを抽出した上で、エッジ強調処理を行い、さらにエッジ検出処理を行う場合、検出精度は向上するものの、マーカ領域Ｒｍの外縁部分の色とマーカ領域Ｒｍの周辺の色とがほとんど変わらないような場合には、検出漏れが生じ得る。

一方、図６の（ｂ）〜（ｆ）、図２２の（ｃ）及び（ｄ）に示されるマーカＭＫでは、マーカＭＫが枠Ｆ２によって囲まれており、枠Ｆ２と領域Ｒｂとの間に間隙Ｒｇａｐが設けられる。間隙Ｒｇａｐは、縁Ｆ１に沿って領域Ｒｂを囲んでいる。間隙Ｒｇａｐの色は、マーカＭＫの外縁部分（つまり、領域Ｒｂ）の色とは異なる。このため、マーカ領域Ｒｍの周辺（枠Ｆ２の外側）の色が、マーカ領域Ｒｍの外縁部分（領域Ｒｂ）の色と類似していたとしても、マーカ領域Ｒｍの外縁（縁Ｆ１）は明確であるので、マーカ領域Ｒｍの外縁を検出することができる。例えば、物体検出処理でマーカ領域Ｒｍを抽出した上で、エッジ強調処理を行い、さらにエッジ検出処理を行う場合、領域Ｒｂの頂点（頂点Ｐｍ１〜Ｐｍ４）をより確実に検出することができる。したがって、高速かつ高精度にマーカ領域Ｒｍを抽出することが可能となる。その結果、さびの程度に関する評価精度をさらに向上させることが可能となる。なお、枠Ｆ２と領域Ｒｂとの距離（間隙Ｒｇａｐの幅）は、例えば、間隙Ｒｇａｐを確保するために、マーカＭＫの一辺の１０分の１以上であってもよい。枠Ｆ２と領域Ｒｂとの距離（間隙Ｒｇａｐの幅）は、例えば、マーカＭＫの使いやすさを考慮して、マーカＭＫの一辺の半分以下であってもよい。

また、図２２の（ｃ）及び（ｄ）に示されるように、枠Ｆ２は、マーカＭＫを完全に囲む枠でなくてもよい。つまり、枠Ｆ２には、欠落部Ｆｇａｐが設けられてもよい。例えば、枠Ｆ２は、実線に限られず、破線でもよい。この場合、枠Ｆ２は、枠Ｆ２の枠線が途中で途切れた形状を有する。枠Ｆ２に欠落部Ｆｇａｐが設けられる場合には、エッジ検出処理等によって、枠Ｆ２によって囲まれた領域がマーカ領域Ｒｍとして検出される可能性を低減することができるので、マーカ領域Ｒｍの検出精度が向上する。つまり、枠Ｆ２の頂点が検出される可能性を低減することができるので、マーカ領域Ｒｍ（領域Ｒｂ）の頂点をさらに確実に検出することが可能となる。その結果、さびの程度に関する評価精度をさらに向上させることが可能となる。

図２３に示されるように、補正部１３，２４は、評価領域Ｒｅを撮像画像Ｇから抽出する際に、撮像画像Ｇからランダムに評価領域Ｒｅを決定し、決定した評価領域Ｒｅを抽出してもよい。この場合、まず、補正部１３，２４は、評価領域Ｒｅの基準点Ｐｒが取り得る座標の最大値を求める。基準点Ｐｒとは、評価領域Ｒｅの４つの頂点のうちの１つであり、ここでは、評価領域Ｒｅの４つの頂点のうちのＸ−Ｙ座標の原点に最も近い頂点である。例えば、評価領域Ｒｅの一辺の長さが１００ピクセルである場合、基準点ＰｒのＸ座標の最大値ｘ_{ｃｒｏｐ＿ｍａｘ}とＹ座標の最大値ｙ_{ｃｒｏｐ＿ｍａｘ}とは、以下の式（８）で表される。なお、撮像画像Ｇの頂点Ｐｇ１は原点（０，０）に位置し、頂点Ｐｇ２は（Ｘ_ｇ，０）に位置し、頂点Ｐｇ３は（Ｘ_ｇ，Ｙ_ｇ）に位置し、頂点Ｐｇ４は（０，Ｙ_ｇ）に位置する。

補正部１３，２４は、式（９）を用いて、評価領域Ｒｅの基準点の座標（ｘ_ｃｒｏｐ，ｙ_ｃｒｏｐ）をランダムに決定する。なお、関数ｒａｎｄｏｍ（最小値，最大値）は、最小値から最大値までの範囲に含まれる任意の値を返す関数である。

補正部１３，２４は、決定された評価領域Ｒｅとマーカ領域Ｒｍとが重なる場合には、評価領域Ｒｅの基準点の座標を再度決定してもよい。

図２４に示されるように、補正部１３，２４は、マーカ領域Ｒｍから抽出方向を指定して、撮像画像Ｇから評価領域Ｒｅを抽出してもよい。この場合、まず、補正部１３，２４は、撮像画像Ｇの中心位置Ｃｇの座標（ｘ_ｃｇ，ｙ_ｃｇ）と、マーカ領域Ｒｍの中心位置Ｃｍの座標（ｘ_ｃｍ，ｙ_ｃｍ）と、を計算する。そして、補正部１３，２４は、式（１０）に示されるように、中心位置Ｃｍから中心位置Ｃｇに向かうベクトルＶを計算する。

補正部１３，２４は、マーカ領域ＲｍからベクトルＶが示す方向において、評価領域Ｒｅの位置を決定する。補正部１３，２４は、例えば、中心位置ＣｍからベクトルＶが示す方向に評価領域Ｒｅの基準点Ｐｒが位置するように、評価領域Ｒｅの位置を決定する。ここでは、基準点Ｐｒは、評価領域Ｒｅの４つの頂点のうちのマーカ領域Ｒｍに最も近い頂点である。補正部１３，２４は、例えば、マーカ領域Ｒｍと重複しないように、評価領域Ｒｅの位置を決定する。具体的には、補正部１３，２４は、基準点Ｐｒが取り得る座標のうち、マーカ領域Ｒｍから最も離れた基準点Ｐｒ＿ｍａｘの座標（ｘ_{ｃｒｏｐ＿ｍａｘ}，ｙ_{ｃｒｏｐ＿ｍａｘ}）と、マーカ領域Ｒｍに最も近い基準点Ｐｒ＿ｍｉｎの座標（ｘ_{ｃｒｏｐ＿ｍｉｎ}，ｙ_{ｃｒｏｐ＿ｍｉｎ}）と、を計算する。そして、補正部１３，２４は、これらの２点間の線分上に基準点Ｐｒが位置するように、評価領域Ｒｅの位置を決定する。

１，１Ａ，１Ｂ…評価システム、１０，１０Ａ，１０Ｂ…ユーザ端末、１１…画像取得部、１３，２４…補正部、１６…出力部、１７…修正情報取得部、１８，２２…評価部、１９…抽出部、２０，２０Ａ…評価装置、２１…受信部（画像取得部）、２３…送信部（出力部）、Ｄ１…距離、Ｇ…撮像画像、ＭＫ…マーカ、ＮＮ…ニューラルネットワーク、Ｒｃ…候補領域、Ｒｅ…評価領域、Ｒｍ…マーカ領域。

Claims (19)

1. 評価対象物の撮像画像を用いて、前記評価対象物のさびの程度に関する評価を行う評価システムであって、
   前記撮像画像を取得する画像取得部と、
   前記撮像画像を補正することで評価用画像を生成する補正部と、
   前記評価用画像に基づいて前記評価を行う評価部と、
   前記評価部による評価結果を出力する出力部と、
   を備え、
   前記撮像画像は、前記評価対象物に付されたマーカの画像であるマーカ領域を含み、
   前記マーカは、枠によって囲まれており、
   前記マーカと前記枠との間に間隙が設けられ、
   前記間隙の色は前記マーカの外縁部分の色とは異なり、
   前記補正部は、前記マーカ領域に基づいて前記撮像画像から前記評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域を抽出し、前記評価領域に基づいて前記評価用画像を生成する、評価システム。
2. 前記枠は、枠線が途切れた形状を有する、請求項１に記載の評価システム。
3. 前記補正部は、前記撮像画像に含まれる参照領域の色に基づいて、前記評価領域の色を補正し、
   前記参照領域は、特定の色が付された参照体の画像である、請求項１又は請求項２に記載の評価システム。
4. 評価対象物の撮像画像を用いて、前記評価対象物のさびの程度に関する評価を行う評価システムであって、
   前記撮像画像を取得する画像取得部と、
   前記撮像画像を補正することで評価用画像を生成する補正部と、
   前記評価用画像に基づいて前記評価を行う評価部と、
   前記評価部による評価結果を出力する出力部と、
   を備え、
   前記撮像画像は、前記評価対象物に付されたマーカの画像であるマーカ領域を含み、
   前記補正部は、前記マーカ領域に基づいて前記撮像画像から前記評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域を抽出するとともに、前記マーカ領域の色に基づいて前記評価領域の色を補正し、前記評価領域に基づいて前記評価用画像を生成する、評価システム。
5. 前記マーカは、枠によって囲まれており、
   前記マーカと前記枠との間に間隙が設けられ、
   前記間隙の色は前記マーカの外縁部分の色とは異なる、請求項４に記載の評価システム。
6. 前記枠は、枠線が途切れた形状を有する、請求項５に記載の評価システム。
7. 前記マーカは、前記マーカの向きを特定可能な形状を有する、請求項１〜請求項６のいずれか一項に記載の評価システム。
8. 前記マーカは、無指向性の形状を有する、請求項１〜請求項６のいずれか一項に記載の評価システム。
9. 前記マーカは、開口部を有し、
   前記開口部の開口面積は、前記面積と等しく、
   前記補正部は、前記開口部を介して露出する前記評価対象物の表面の画像を前記評価領域として抽出する、請求項１〜請求項８のいずれか一項に記載の評価システム。
10. 前記補正部は、前記評価領域から鏡面反射を除去する、請求項１〜請求項９のいずれか一項に記載の評価システム。
11. 前記評価部は、ニューラルネットワークを用いて前記評価を行う、請求項１〜請求項１０のいずれか一項に記載の評価システム。
12. 前記補正部は、前記評価領域を拡大又は縮小することで、前記評価用画像のサイズを前記ニューラルネットワークの学習に用いられる基準画像のサイズに合わせる、請求項１１に記載の評価システム。
13. 前記撮像画像からさびが生じている候補領域を抽出する抽出部をさらに備え、
    前記補正部は、前記候補領域を補正することで前記評価用画像を生成する、請求項１〜請求項１２のいずれか一項に記載の評価システム。
14. 前記評価は、さび度の評価を含む、請求項１〜請求項１３のいずれか一項に記載の評価システム。
15. 前記評価は、除錆度の評価を含む、請求項１〜請求項１４のいずれか一項に記載の評価システム。
16. 評価対象物の撮像画像を用いて、前記評価対象物のさびの程度に関する評価を行う評価装置であって、
    前記撮像画像を取得する画像取得部と、
    前記撮像画像を補正することで評価用画像を生成する補正部と、
    前記評価用画像に基づいて前記評価を行う評価部と、
    前記評価部による評価結果を出力する出力部と、
    を備え、
    前記撮像画像は、前記評価対象物に付されたマーカの画像であるマーカ領域を含み、
    前記補正部は、前記マーカ領域に基づいて前記撮像画像から前記評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域を抽出するとともに、前記マーカ領域の色に基づいて前記評価領域の色を補正し、前記評価領域に基づいて前記評価用画像を生成する、評価装置。
17. 評価対象物の撮像画像を用いて、前記評価対象物のさびの程度に関する評価を行う評価方法であって、
    前記撮像画像を取得するステップと、
    前記撮像画像を補正することで評価用画像を生成するステップと、
    前記評価用画像に基づいて前記評価を行うステップと、
    前記評価を行うステップにおける評価結果を出力するステップと、
    を備え、
    前記撮像画像は、前記評価対象物に付されたマーカの画像であるマーカ領域を含み、
    前記評価用画像を生成するステップでは、前記マーカ領域に基づいて前記撮像画像から前記評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域が抽出されるとともに、前記マーカ領域の色に基づいて前記評価領域の色が補正され、前記評価領域に基づいて前記評価用画像が生成される、評価方法。
18. コンピュータに、
    評価対象物の撮像画像を取得するステップと、
    前記撮像画像を補正することで評価用画像を生成するステップと、
    前記評価用画像に基づいて、前記評価対象物のさびの程度に関する評価を行うステップと、
    前記評価を行うステップにおける評価結果を出力するステップと、
    を実行させるための評価プログラムであって、
    前記撮像画像は、前記評価対象物に付されたマーカの画像であるマーカ領域を含み、
    前記評価用画像を生成するステップでは、前記マーカ領域に基づいて前記撮像画像から前記評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域が抽出されるとともに、前記マーカ領域の色に基づいて前記評価領域の色が補正され、前記評価領域に基づいて前記評価用画像が生成される、評価プログラム。
19. コンピュータに、
    評価対象物の撮像画像を取得するステップと、
    前記撮像画像を補正することで評価用画像を生成するステップと、
    前記評価用画像に基づいて、前記評価対象物のさびの程度に関する評価を行うステップと、
    前記評価を行うステップにおける評価結果を出力するステップと、
    を実行させるための評価プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記撮像画像は、前記評価対象物に付されたマーカの画像であるマーカ領域を含み、
    前記評価用画像を生成するステップでは、前記マーカ領域に基づいて前記撮像画像から前記評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域が抽出されるとともに、前記マーカ領域の色に基づいて前記評価領域の色が補正され、前記評価領域に基づいて前記評価用画像が生成される、記録媒体。

Images