JP6815431B2 - 塗装面検査装置、及びプログラム - Google Patents

Description

本発明は、塗装面に関する検査を行う塗装面検査装置等に関する。

従来、柱上変圧器等について、撮影画像を用いてサビ色に関する診断を行うことが行われている（例えば、特許文献１，２参照）。

特開２０１２−１８９５２３号公報 特開２０１３−０５３９５８号公報

柱上変圧器等の対象物の塗装面に関する劣化には、サビ以外にも剥がれや割れ、膨れ等がある。通常、それらの劣化もサビ同様に影響が大きいため、そのようなサビ以外の劣化の有無は、対象物の使用を継続するかどうかなどの判断において重要である。

従来、そのような剥がれや割れ、膨れについては、撮影画像を用いた検査は行われておらず、目視によって限度見本等と見比べることによって判断していた。したがって、例えば、対象物が柱上変圧器である場合には、バケット車を用意したり、交通規制を行ったりして目視での検査を行う必要があり、検査のための負担が大きいという問題があった。また、目視によって検査を行った場合には、観察者の感覚や経験に応じて検査結果の精度に差が生じるという問題もあった。

本発明は、上記課題を解決するためになされたものであり、対象物の塗装面に関する検査を自動的に行うことができる塗装面検査装置、及びその検査に用いられる学習器を提供することを目的とする。

上記目的を達成するため、本発明による塗装面検査装置は、塗装金属板を有する対象物の塗装面の撮影画像である塗装面画像を受け付ける受付部と、塗装面画像において、サビ色以外の塗装の劣化領域を少なくとも特定する領域特定部と、を備えたものである。
このような構成により、従来例のサビ色の検出だけでは特定することができなかった、サビ色以外の塗装の劣化領域を、対象物の塗装面の撮影画像を用いて特定することができるようになる。したがって、そのような劣化領域の有無の確認や、その劣化領域の位置の特定などの検査を、検査の対象物の撮影画像を用いて自動的に行うことができ、目視での検査と比較して、検査の負担が軽減されることになる。また、観察者の感覚や経験に依存しない検査を実現することができるようになる。

また、本発明による塗装面検査装置では、サビ色以外の塗装の劣化領域には、塗装の割れ及び剥がれ領域が含まれており、領域特定部は、塗装面画像において、サビ色の領域及び塗装の領域を特定し、特定した以外の領域を塗装の割れ及び剥がれ領域として特定してもよい。
このような構成により、対象物の塗装面の撮影画像を用いて、従来例のサビ色の検出だけでは特定することができなかった、塗装の割れや剥がれ領域を自動的に特定することができるようになる。

また、本発明による塗装面検査装置では、サビ色以外の塗装の劣化領域には、塗装の膨れ領域が含まれており、領域特定部は、塗装面画像において、塗装の領域を特定し、特定した塗装の領域において、輝度の分散が閾値よりも大きい領域である塗装の膨れ領域を特定してもよい。
このような構成により、対象物の塗装面の撮影画像を用いて、従来例のサビ色の検出だけでは特定することができなかった、塗装の膨れ領域を自動的に特定することができるようになる。

また、本発明による塗装面検査装置では、領域特定部は、塗装金属板を有する対象物の塗装面の撮影画像である訓練用入力情報と、撮影画像における、サビ色以外の塗装の劣化領域を示す教師図形を含む訓練用出力情報との組を複数用いて学習された学習器に塗装面画像を適用することによって、塗装面画像に含まれるサビ色以外の塗装の劣化領域を特定してもよい。
このような構成により、学習器を用いてサビ色以外の塗装の劣化領域に関する検査を行うことができるようになる。そのため、サビ色以外の塗装の劣化領域を特定するためのルールや条件を設定したり、設定値を調整したりする作業が不要になり、負担が軽減される。

また、本発明による塗装面検査装置では、領域特定部によって特定された各領域に関する出力を行う領域出力部をさらに備えてもよい。
このような構成により、ユーザは、例えば、塗装の剥がれや割れ、膨れ等の塗装の劣化領域に関する情報を知ることができるようになる。

また、本発明による塗装面検査装置では、領域特定部は、塗装面画像におけるサビ色の領域をも特定するものであり、領域特定部によって特定された各領域に関する情報に応じて、対象物の塗装面が異常かどうかの判定を行う判定部と、判定部による判定結果を出力する判定結果出力部と、をさらに備えてもよい。
このような構成により、対象物の塗装面が異常かどうかの検査を自動的に行うことができ、観察者の感覚や経験に依存しない検査を実現することができるようになる。また、異常と判定された場合には、例えば、対象物の修理等を行うことによって、対象物の故障などを事前に防止することができる。

また、本発明による塗装面検査装置は、塗装金属板を有する対象物の塗装面におけるサビ色の領域及びサビ色以外の塗装の劣化領域に関する情報を受け付ける受付部と、受付部によって受け付けられた各領域に関する情報に応じて、対象物の塗装面が異常かどうかの判定を行う判定部と、判定部による判定結果を出力する判定結果出力部と、を備えたものである。
このような構成により、対象物の塗装面におけるサビ色の領域及びサビ色以外の塗装の劣化領域に関する情報を用いることによって、その塗装面が異常かどうかの検査を自動的に行うことができ、観察者の感覚や経験に依存しない検査を実現することができるようになる。

また、本発明による塗装面検査装置では、判定部は、塗装金属板を有する対象物の塗装面におけるサビ色の領域及びサビ色以外の塗装の劣化領域に関する情報である訓練用入力情報と、対象物の塗装面が異常かどうかの判定結果である訓練用出力情報との組を複数用いて学習された学習器に、判定対象の対象物の塗装面における各領域に関する情報を適用することによって、判定対象の対象物の塗装面が異常かどうかの判定を行ってもよい。
このような構成により、学習器を用いて塗装面が異常かどうかの検査を行うことができるようになる。そのため、塗装面の異常について判定するためのルールや条件を設定したり、設定値を調整したりする作業が不要になり、負担が軽減される。

また、本発明による塗装面検査装置は、塗装金属板を有する対象物の塗装面の撮影画像である塗装面画像を受け付ける受付部と、塗装金属板を有する対象物の塗装面の撮影画像である訓練用入力情報と、対象物の塗装面が異常かどうかの判定結果である訓練用出力情報との組を複数用いて学習された学習器に塗装面画像を適用することによって、判定対象の対象物の塗装面が異常かどうかの判定を行う判定部と、判定部による判定結果を出力する判定結果出力部と、を備えたものである。
このような構成により、対象物の塗装面の撮影画像を用いることによって、その塗装面が異常かどうかの検査を自動的に行うことができ、観察者の感覚や経験に依存しない検査を実現することができるようになる。また、その検査を学習器を用いて行うため、塗装面の異常について判定するためのルールや条件を設定したり、設定値を調整したりする作業が不要になり、負担が軽減される。

また、本発明による塗装面検査装置では、受け付けは、受け付け対象の受信であり、出力は、出力対象の送信であり、出力に応じて課金を行う課金部をさらに備えてもよい。
このような構成により、例えば、ユーザからの依頼に応じて対象物の塗装面に関する検査を自動的に行い、その検査結果を送信すると共に、それに対してユーザに課金することができるようになる。したがって、ユーザは、塗装面検査装置を導入しなくても、必要なときにだけ塗装面検査装置による検査を依頼することができるようになる。

また、本発明による学習器は、塗装金属板を有する対象物の塗装面の撮影画像である訓練用入力情報と、撮影画像における、サビ色以外の塗装の劣化領域を示す教師図形を含む訓練用出力情報との複数の組の学習結果である学習器であって、塗装金属板を有する対象物の塗装面の撮影画像である塗装面画像が適用されると、塗装面画像に含まれるサビ色以外の塗装の劣化領域を示す画像を取得することができる、ものである。

また、本発明による学習器は、塗装金属板を有する対象物の塗装面におけるサビ色の領域及びサビ色以外の塗装の劣化領域に関する情報である訓練用入力情報と、対象物の塗装面が異常かどうかの判定結果である訓練用出力情報との複数の組の学習結果である学習器であって、判定対象の対象物の塗装面におけるサビ色の領域及びサビ色以外の塗装の劣化領域に関する情報が適用されると、判定対象の対象物の塗装面が異常かどうかの判定結果を取得することができる、ものである。

また、本発明による学習器は、塗装金属板を有する対象物の塗装面の撮影画像である訓練用入力情報と、対象物の塗装面が異常かどうかの判定結果である訓練用出力情報との複数の組の学習結果である学習器であって、塗装金属板を有する対象物の塗装面の撮影画像である塗装面画像が適用されると、対象物の塗装面が異常かどうかの判定結果を取得することができる、ものである。

本発明による塗装面検査装置等によれば、対象物の塗装面に関する検査を自動的に行うことができ、例えば、サビ色以外の塗装の劣化領域を特定したり、塗装面が異常かどうかを判定したりすることができる。

本発明の実施の形態１による塗装面検査装置の構成を示すブロック図 同実施の形態による塗装面検査装置の動作を示すフローチャート 同実施の形態による塗装面検査装置の動作を示すフローチャート 同実施の形態における塗装面画像の一例を示す図 同実施の形態におけるサビ色の領域等の特定結果の一例を示す図 同実施の形態における出力の一例を示す図 同実施の形態による塗装面検査装置の構成の他の一例を示すブロック図 同実施の形態における通信ネットワークの一例を示す模式図 同実施の形態における訓練用入力情報及び訓練用出力情報の一例を示す図 同実施の形態による塗装面検査装置の構成の他の一例を示すブロック図 同実施の形態による塗装面検査装置の動作の他の一例を示すフローチャート 本発明の実施の形態２による塗装面検査装置の構成を示すブロック図 同実施の形態による塗装面検査装置の動作を示すフローチャート

以下、本発明による塗装面検査装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１による塗装面検査装置について、図面を参照しながら説明する。本実施の形態による塗装面検査装置は、塗装金属板を有する対象物の塗装面画像において、サビ色以外の塗装の劣化領域を特定すると共に、その塗装面が異常かどうかの判定を行うものである。

図１は、本実施の形態による塗装面検査装置１の構成を示すブロック図である。本実施の形態による塗装面検査装置１は、受付部１１と、記憶部１２と、領域特定部１３と、領域出力部１４と、判定部１５と、判定結果出力部１６とを備える。なお、塗装面検査装置１が行う塗装面の検査は、例えば、塗装面における塗装の劣化領域の特定であってもよく、塗装面が異常であるかどうかの判定であってもよい。本実施の形態では、塗装面の検査が両者である場合について主に説明する。また、塗装面検査装置１は、例えば、撮影手段等を備えており、撮影から検査結果の出力までのすべての処理を実行可能な情報処理端末（例えば、タブレット端末やスマートフォンなど）であってもよく、撮影された画像を受け取って、その画像を用いて検査を行い、その検査結果を出力する情報処理装置（例えば、スタンドアロンの装置や、サーバクライアントシステムにおけるサーバ装置等）であってもよい。

受付部１１は、塗装金属板を有する対象物の塗装面の撮影画像である塗装面画像を受け付ける。塗装金属板を有する対象物は特に限定されるものではないが、例えば、塗装金属板の筐体を有するもの、例えば、柱上変圧器等の変圧器や開閉器等であってもよく、塗装金属板によって構成されるもの、例えば、橋などの構造物であってもよく、塗装金属板を有するその他の対象物であってもよい。また、塗装面とは、通常、塗装が行われている面のことであるが、少なくとも過去に塗装が行われた面のことであってもよい。したがって、後述するように、撮影時点においては、塗装の劣化によって塗装面の少なくとも一部に塗装が残っていないこともあり得ることになる。

塗装面の撮影画像は、通常、カラーの撮影画像である。撮影画像は、厳密には、撮影画像のデータであるが、説明の便宜上、単に撮影画像と呼ぶことにする。また、受付部１１によって塗装面画像が受け付けられる前に、または、受け付けられた後に、所定の画像処理が行われてもよい。その画像処理は、所定の形状の塗装面に関する塗装面画像において、塗装面の形状を、所定の形状に修正することであってもよい。具体的には、画像処理は、円筒状の柱上変圧器の底面を、撮影画像において、楕円形状から円形状に修正する円形補正であってもよく、直方体形状の変圧器のいずれかの矩形面を、撮影画像において、台形状から矩形状に修正する台形補正であってもよい。また、その画像処理は、所定の塗装面のみを切り出すトリミングであってもよい。そのような画像処理は、例えば、自動的に行われてもよく、または手動で行われてもよい。本実施の形態では、そのような画像処理の行われた塗装面画像が受付部１１で受け付けられる場合について主に説明する。

受付部１１は、例えば、カメラ等の撮影手段から塗装面画像を受け付けてもよく、有線または無線の通信回線を介して送信された塗装面画像を受信してもよく、所定の記録媒体（例えば、磁気ディスクや半導体メモリなど）から読み出された塗装面画像を受け付けてもよい。なお、受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、または含まなくてもよい。また、受付部１１は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

記憶部１２では、領域特定部１３による領域の特定において用いる設定情報（例えば、後述する閾値等）や、判定部１５による判定で用いる設定情報（例えば、後述するルールや条件等）等が記憶されていてもよい。また、領域の特定や判定に学習器が用いられる場合には、その学習器が記憶部１２で記憶されていてもよい。

記憶部１２に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が記憶部１２で記憶されるようになってもよく、通信回線等を介して送信された情報が記憶部１２で記憶されるようになってもよく、または、入力デバイスを介して入力された情報が記憶部１２で記憶されるようになってもよい。記憶部１２での記憶は、ＲＡＭ等における一時的な記憶でもよく、または、長期的な記憶でもよい。記憶部１２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現され得る。

領域特定部１３は、受付部１１によって受け付けられた塗装面画像において、サビ色の領域、塗装の領域、サビ色以外の塗装の劣化領域をそれぞれ特定する。本実施の形態では、サビ色以外の塗装の劣化領域に、塗装の割れ及び剥がれ領域と、塗装の膨れの領域とが含まれる場合について主に説明する。サビ色の領域とは、茶色や黒色などのサビ色に変わった塗装面の領域のことである。塗装の領域とは、塗装面における塗装色の領域のことである。サビ色の領域や塗装の領域は、例えば、塗装面画像における色の情報などを用いて特定されてもよい。塗装の割れ及び剥がれ領域とは、塗装面において、塗装が割れたり、剥がれたりした領域のことである。厳密には、塗装が割れたり剥がれたりした領域は、塗装面ではないことになるが、上記のように、それも含めて塗装面と呼んでいる。塗装面において、塗装の割れ及び剥がれ領域以外の領域では、塗装の層が残っているものとする。塗装の膨れ領域とは、塗装面において、塗装の層が被塗装物から浮き上がって層状になっている領域のことである。サビ色の領域は、例えば、サビの色ごとに複数の領域を含んでいてもよい。例えば、黒サビの領域、白サビの領域、及び茶サビの領域の少なくとも１以上が、サビ色の領域に含まれていてもよい。なお、具体的な領域の特定方法については後述する。また、領域特定部１３は、特定した各領域の面積の割合（比率）を算出してもよい。その割合は、例えば、領域の特定対象となる塗装面の全体の面積に対する、特定した領域の面積の割合であってもよい。

領域出力部１４は、領域特定部１３によって特定された各領域に関する出力を行う。この出力は、例えば、塗装面画像において、特定された各領域を視覚的に示す画像の出力であってもよく、各領域が特定されたかどうかを示す情報（例えば、塗装の割れ及び剥がれ領域が特定されたかどうかや、塗装の膨れ領域が特定されたかどうかなどの情報）であってもよく、特定された各領域に関するデータ（例えば、塗装面における各領域の面積の割合等）の出力であってもよい。

ここで、この出力は、例えば、表示デバイス（例えば、液晶ディスプレイや有機ＥＬディスプレイなど）への表示でもよく、通信回線を介した送信でもよく、プリンタによる印刷でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。なお、領域出力部１４は、出力を行うデバイス（例えば、表示デバイスや通信デバイス、プリンタなど）を含んでもよく、または含まなくてもよい。また、領域出力部１４は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

判定部１５は、領域特定部１３によって特定された各領域に関する情報に応じて、対象物の塗装面が異常かどうかの判定を行う。ここで、対象物の塗装面が異常であるとは、例えば、塗装面に関して修理が必要な状況であってもよく、修理が不可能であり、対象物を廃却しなくてはならない状況であってもよい。対象物の塗装面が異常でないとは、例えば、対象物の塗装面について修理等を行う必要はなく、そのまま継続して使用できることであってもよい。すなわち、塗装面が異常であるとは、その塗装面を有する対象物をそのまま継続して使用することができない状況（少なくとも、修理等が必要な状況）であると考えてもよい。対象物が柱上変圧器等の変圧器や、開閉器等である場合には、例えば、異常であると判定されたときには、回収されて、適宜、修理や廃却が行われることになり、異常でないと判定されたときには、継続してそのまま使用されることになる。

判定部１５は、例えば、所定のルールに応じて判定を行ってもよく、学習器を用いて判定を行ってもよい。学習器を用いた判定については後述する。ルールに応じた判定を行う場合には、例えば、異常と判定するための条件、及び／または、異常でない（正常）と判定するための条件が記憶部１２で記憶されており、判定部１５は、領域特定部１３による特定結果が、条件に当てはまるかどうかを判断することによって、異常かどうかの判定を行ってもよい。具体的には、塗装の割れ及び剥がれ領域と膨れ領域との合計の割合が、所定の割合を超えていれば異常であるとの条件がある場合には、その条件が満たされたときに、異常であると判定されてもよい。また、異常であると判定される条件が複数存在する場合には、いずれかの条件が満たされるときに、異常であると判定され、そのすべての条件が満たされないときに、異常ではないと判定されてもよい。また、正常と判定される条件が複数存在する場合には、いずれかの条件が満たされるときに、正常であると判定され、そのすべての条件が満たされないときに、異常であると判定されてもよい。

判定結果出力部１６は、判定部１５による判定結果を出力する。この判定結果は、受付部１１によって受け付けられた塗装面画像の塗装面が、異常であるかどうかを示す判定結果である。

ここで、この出力は、例えば、表示デバイス（例えば、液晶ディスプレイや有機ＥＬディスプレイなど）への表示でもよく、通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。なお、判定結果出力部１６は、出力を行うデバイス（例えば、表示デバイスや通信デバイス、プリンタなど）を含んでもよく、または含まなくてもよい。また、判定結果出力部１６は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

また、領域出力部１４と判定結果出力部１６とは、一体の出力部として構成されてもよい。その場合には、例えば、その出力部は、特定された領域に関する出力を行う際には、領域出力部１４として機能し、判定結果を出力する際には、判定結果出力部１６として機能することになる。

次に、塗装面検査装置１の動作について図２，図３のフローチャートを用いて説明する。
（ステップＳ１０１）受付部１１は、塗装面画像を受け付けたかどうか判断する。そして、塗装面画像を受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、塗装面画像を受け付けるまで、ステップＳ１０１の処理を繰り返す。

（ステップＳ１０２）領域特定部１３は、塗装面画像において、サビ色の領域や、サビ色以外の塗装の劣化領域等を特定する。なお、この処理の詳細については、図３のフローチャートを参照して後述する。

（ステップＳ１０３）判定部１５は、領域特定部１３によって特定された各領域に関する情報に応じて、対象物の塗装面が異常かどうかの判定を行う。

（ステップＳ１０４）領域出力部１４は、領域特定部１３によって特定された各領域に関する出力を行い、判定結果出力部１６は、判定部１５による判定結果を出力する。そして、塗装面画像に関する領域の特定や、判定等の一連の処理は終了となり、ステップＳ１０１に戻る。

なお、図２のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

図３は、図２のフローチャートにおける領域の特定の処理（ステップＳ１０２）の詳細を示すフローチャートである。なお、図３のフローチャートでは、ルールを用いた領域の特定について説明し、学習器を用いて行われる領域の特定については後述する。

（ステップＳ２０１）領域特定部１３は、黒サビの領域を特定する。領域特定部１３は、例えば、明度の低い領域や、明度が低く、かつ、彩度も低い領域を、黒サビの領域として特定してもよい。具体的には、領域特定部１３は、明度が第１の閾値より小さい領域を、黒サビの領域としてもよい。また、領域特定部１３は、明度が第２の閾値より小さく、かつ、彩度が第３の閾値より小さい領域を黒サビの領域としてもよい。第１の閾値は、第２の閾値よりも小さいことが好適であり、例えば、黒サビの明度の最大値程度の値に設定されてもよい。また、第２の閾値は、例えば、彩度が第３の閾値付近の値である黒サビの明度の最大値程度の値に設定されてもよい。また、第３の閾値は、例えば、あらかじめ決められた値と、塗装の領域の彩度の最小値（この最小値については後述する）とのうち、小さい方の値であってもよい。あらかじめ決められた値は、黒サビの彩度の最大値程度の値に設定されてもよい。なお、塗装の領域の彩度の最小値が「０」になった場合には、領域特定部１３は、明度が第２の閾値より小さい領域を、黒サビの領域としてもよい。また、領域特定部１３は、特定した微小な領域を、特定結果から除外してもよい。この処理を、「微小領域除外処理」と呼ぶことがある。具体的には、特定した１つの黒サビの領域の面積（例えば、ピクセル数など）が所定の閾値より小さい場合には、領域特定部１３は、その領域を黒サビの領域から除外してもよい。また、領域特定部１３は、特定した領域間や領域内に存在する微小な領域を、特定した領域に組み込んでもよい。この処理を、「隙間を埋める処理」と呼ぶことがある。具体的には、領域特定部１３は、特定した１つの黒サビの領域内に、所定の閾値より小さい黒サビの領域ではない領域が存在する場合に、その小さい領域を黒サビの領域としてもよい。また、領域特定部１３は、特定した２以上の黒サビの領域間の距離が所定の閾値より小さい場合に、その２以上の黒サビの領域を繋げて一つの領域としてもよい。

（ステップＳ２０２）領域特定部１３は、白サビの領域を特定する。領域特定部１３は、例えば、それまでにサビの領域として特定していない領域において、荒れが発生しており、かつ、明度の高い領域を、白サビの領域として特定してもよい。具体的には、領域特定部１３は、荒れが発生しており、かつ、明度が、塗装の領域の平均明度よりも高い領域を、白サビの領域としてもよい。荒れが発生している領域に対応する塗装面の箇所は、例えば、表面に細かい凹凸が発生している箇所であってもよい。荒れが発生している領域は、例えば、多数の点形状がノイズのように散らばっている画像の領域であってもよい。荒れが発生している領域は、画像上では、細かいエッジが連続している領域となるため、領域特定部１３は、エッジ検出を行い、その検出したエッジを塊にして隙間を埋める処理（クロージング処理）を行った結果を、荒れが発生している領域としてもよい。なお、クロージング処理の結果が、所定の閾値を超える面積にならなかった場合には、そのクロージング処理の結果の領域を荒れの発生した領域としなくてもよい。エッジ検出は、例えば、キャニー法によって行ってもよく、エッジ検出のその他の手法によって行ってもよい。塗装の領域の平均明度は、この時点において塗装の領域を仮に特定し、その仮に特定した塗装の領域の各ピクセルの明度の平均を算出することによって取得してもよい。また、塗装の領域の平均明度を取得できない場合（例えば、塗装の領域を特定できない場合など）には、あらかじめ決められた明度の閾値を、平均明度に代えて用いてもよい。なお、白サビの領域に関しても、微小領域除外処理や、隙間を埋める処理を行ってもよい。

（ステップＳ２０３）領域特定部１３は、茶サビの領域を特定する。領域特定部１３は、例えば、それまでにサビの領域として特定していない領域において、茶サビの色である領域を、茶サビの領域として特定してもよい。具体的には、領域特定部１３は、彩度が第４の閾値より大きく、かつ、色相が所定の範囲内にある領域を、茶サビの領域としてもよい。第４の閾値は、彩度がその第４の閾値より大きい場合に、色の違いが明確になる程度の値に設定されることが好適である。また、色相の所定の範囲は、茶さびの色（例えば、茶色）が含まれる色相の範囲に設定されることが好適である。なお、茶サビの領域に関しても、微小領域除外処理や、隙間を埋める処理を行ってもよい。

（ステップＳ２０４）領域特定部１３は、塗装の領域を特定する。領域特定部１３は、例えば、それまでにサビの領域として特定していない領域において、塗装に応じた色相、彩度、明度の範囲の領域を、塗装の領域として特定してもよい。具体的には、あらかじめ塗装に応じた色相の範囲、彩度の範囲、明度の範囲が設定されている場合には、領域特定部１３は、それらの範囲に含まれる領域を、塗装の領域としてもよい。また、例えば、領域特定部１３は、塗装面画像においてユーザが指示した塗装の領域（例えば、典型的な塗装の領域がユーザによって指示されてもよい。）を受け付け、その受け付けた領域から、色相、彩度、明度の上限値と下限値とを取得し、その上限値と下限値とをそれぞれ所定の値だけ広げた範囲を、色相、彩度、明度の範囲として用いて、上記のようにして、塗装の領域を特定してもよい。この塗装の領域の特定で用いられる彩度の範囲の下限値が、ステップＳ２０１において、塗装の領域の彩度の最小値として用いられてもよい。なお、塗装の領域に関しても、微小領域除外処理や、隙間を埋める処理を行ってもよい。

（ステップＳ２０５）領域特定部１３は、領域の特定対象である塗装面において、特定したサビ色の領域及び塗装の領域以外の領域を塗装の割れ及び剥がれ領域として特定してもよい。サビ色の領域と、塗装の領域とを除いた領域が、通常、塗装の割れや剥がれの領域となるからである。具体的には、領域特定部１３は、黒サビの領域、白サビの領域、茶サビの領域、塗装の領域以外の領域を、塗装の割れ及び剥がれ領域として特定してもよい。

（ステップＳ２０６）領域特定部１３は、ステップＳ２０４で塗装の領域として特定した領域において、輝度の分散が第５の閾値より大きい領域を、塗装の膨れの領域として特定してもよい。塗装に膨れがある場合には、通常、その膨れの箇所において、輝度の変化が大きくなる。膨れに応じた表面形状の変化によって光の反射が変化し、その結果として輝度が変化するからである。したがって、膨れの箇所については輝度の分散が大きくなるため、そのような輝度の分散の大きい箇所を特定することによって、膨れの箇所を特定することができるようになる。具体的には、領域特定部１３は、塗装の領域を、あらかじめ決められたサイズの範囲（例えば、２０ピクセル×２０ピクセルの正方形等であってもよい。）に分割し、その分割した各範囲おいて、輝度の分散値を算出し、その算出した分散値が第５の閾値より大きい場合に、その範囲が膨れの領域であると判断し、そうでない場合に、その範囲が膨れの領域でないと判断し、そのような処理を、分割した範囲ごとに繰り返すようにしてもよい。そのようにして、あらかじめ決められたサイズの範囲ごとに、塗装の膨れの領域であるかどうかが特定されることになる。なお、サビ色の領域との境界部分においては、輝度の変化が大きくなり、結果として、塗装の膨れ領域として誤って特定される可能性がある。したがって、塗装の領域とサビ色の領域との境界部分については、塗装の膨れ領域の特定処理を行わないようにしてもよい。また、輝度の分散値を算出する前に、例えば、所定のサイズにおいて、平均化フィルタ処理を行うようにしてもよい。また、膨れの領域は、塗装の領域において特定されているため、領域特定部１３は、ステップＳ２０４で特定した塗装の領域から、ステップＳ２０６で特定した膨れの領域を除外するようにしてもよい。したがって、厳密に言えば、ステップＳ２０４では、塗装の領域の仮特定を行っており、ステップＳ２０６において、仮特定された塗装の領域から塗装の膨れ領域を除いた結果が、塗装の領域の最終的な特定結果となってもよい。このようにして、塗装面画像において、ルールに基づいて各領域を特定することができる。そして、図２のフローチャートに戻る。

なお、領域特定部１３は、各領域の特定が終了した後に、各領域の面積の割合を算出してもよい。例えば、領域特定部１３は、塗装面の面積に対する特定した各領域の面積の割合を算出してもよい。そのため、領域特定部１３は、塗装面の面積と、特定した各領域の面積とを算出し、その各領域の面積の割合を算出してもよい。

また、各領域の特定において用いられる閾値等の設定値は、適宜、調整することができるようになっていてもよい。そして、領域特定部１３による各領域の特定結果と、実際の塗装面とを比較して、好適な特定が行われるように閾値等の設定が行われてもよい。また、各領域の特定方法は、上記説明に限定されるものではなく、他の方法によって特定してもよいことは言うまでもない。例えば、黒サビの領域の特定や、茶サビの領域の特定において、荒れが発生していることが、条件として用いられてもよい。通常、サビの発生している領域は、荒れが発生していることが多いと考えられるからである。また、サビ色の領域の特定は、上記した以外の方法によって行われてもよいことは言うまでもない。

次に、本実施の形態による塗装面検査装置１の動作について、具体例を用いて説明する。
まず、柱上変圧器の底面の写真が撮影され、円形補正によって柱上変圧器の底面が円形となるように修正され、また、底面の部分のみがトリミングされたとする。図４は、そのような塗装面画像の一例を示す模式図である。図４において、円形の部分が塗装面となる。ユーザが、図４の塗装面画像を塗装面検査装置１に入力すると、その塗装面画像は、受付部１１によって受け付けられ、領域特定部１３に渡される（ステップＳ１０１）。

領域特定部１３は、塗装面画像を受け取ると、まず、上記のようにして、黒サビの領域を特定する（ステップＳ１０２，Ｓ２０１）。領域特定部１３は、例えば、特定した領域の輪郭を示す情報を、図示しない記録媒体に蓄積してもよい。

同様にして、領域特定部１３は、白サビの領域、茶サビの領域を特定する（ステップＳ２０２，Ｓ２０３）。なお、図５は、塗装面画像における、領域特定部１３による領域の特定結果を示す図である。図５において、特定された黒サビの領域は、黒色の領域５２であり、特定された白サビの領域は、白色の領域５４であり、特定された茶サビの領域は、網掛けの領域５３であったとする。

次に、領域特定部１３は、それまでに特定されたサビ以外の領域において、塗装の領域を特定する（ステップＳ２０４）。図５において、塗装の領域は、網掛けの領域５１であったとする。その後、領域特定部１３は、サビ色の領域、及び塗装の領域以外の領域である塗装の割れ及び剥がれ領域を特定する（ステップＳ２０５）。図５において、塗装の割れ及び剥がれ領域は、網掛けの領域５５であったとする。

次に、領域特定部１３は、塗装の領域において、輝度の分散の大きい領域である膨れの領域を特定する（ステップＳ２０６）。図５において、膨れの領域は、破線で輪郭の示される領域５６であったとする。すると、領域特定部１３は、その領域５６を、塗装の領域から除外する。そして、領域特定部１３は、特定した各領域の面積の割合を算出する。

その後、判定部１５は、各領域の割合を用いて、塗装面が異常であるかどうか判断する（ステップＳ１０３）。ここでは、図５の特定結果に応じて、塗装面は異常ではないと判定されたとする。すると、領域出力部１４は、領域の特定結果を出力し、判定結果出力部１６は、塗装面が異常ではない旨の判定結果を出力する（ステップＳ１０４）。具体的には、領域出力部１４は、図６で示されるように、塗装面画像と、特定結果を示す画像と、特定された各領域の割合を示す情報とを表示してもよい。また、判定結果出力部１６は、領域の特定結果と一緒に、または、それとは別に、塗装面が異常ではない旨の判定結果を表示してもよい。

以上のように、本実施の形態による塗装面検査装置１によれば、撮影画像を用いて、サビ色以外の塗装の劣化領域、例えば、塗装の割れ及び剥がれ領域や、塗装の膨れ領域を特定することができる。また、そのようなサビ色以外の塗装の劣化領域をも用いて塗装面に関する判定を行うことができるため、サビ色のみに基づいて判定を行った場合よりも、より精度の高い判定を行うことができるようになる。さらに、それらの領域の特定や判定を自動的に行うことができるため、観察者の感覚や経験に依存しない検査を実現することもできるようになる。また、対象物が柱上変圧器である場合に、電柱に上ることなく、地面から底面の写真を撮影することによって、領域の特定や、異常の判定等を行うことができるようになり、ユーザの負担が著しく低減されることになる。

次に、本実施の形態による塗装面検査装置１の変形例について説明する。
［課金処理］
塗装面検査装置１は、塗装面画像を受信し、受信した塗装面画像を用いて領域の特定や塗装面に関する判定を行い、それらの結果を送信するようにしてもよい。そして、その送信に応じて、課金を行うようにしてもよい。その場合には、図７で示されるように、塗装面検査装置１は、課金部１７をさらに備えていてもよい。図７において、受付部１１による受け付けは、受け付け対象の受信であり、領域出力部１４及び判定結果出力部１６による出力は、出力対象の送信であってもよい。出力対象の送信先は、例えば、塗装面画像の送信元であってもよく、それ以外の送信先であってもよい。後者の場合には、例えば、塗装面画像と一緒に、出力対象の送信先のアドレスが受付部１１で受信されてもよい。また、課金先の特定ために、塗装面画像と一緒に、依頼者を識別する依頼者識別子も受付部１１で受信されてもよい。

課金部１７は、領域の特定結果や判定結果の出力に応じて課金を行う。課金先は、例えば、出力対象の送信先に対応する依頼者であってもよく、受付部１１で依頼者識別子が受け付けられている場合には、その依頼者識別子で識別される依頼者であってもよい。具体的には、課金部１７は、領域の特定結果等の送信に応じて、送信先の依頼者を識別する依頼者識別子と、その送信に応じた金額とを対応付けて出力してもよい。そして、出力された情報に応じて、適宜、依頼者への請求等が行われてもよい。また、あらかじめ依頼者のクレジットカード等の情報が登録されている場合には、課金部１７は、領域の特定結果等の送信に応じて、送信先の依頼者を識別する依頼者識別子に対応するクレジットカード等の情報を読み出し、その読み出した情報を用いて、課金の金額に対応する課金処理を行ってもよい。なお、課金処理はすでに公知であり、その詳細な説明を省略する。

この場合には、塗装面検査装置１は、図８で示されるように、有線または無線の通信回線５００を介して、情報処理端末５と通信可能なサーバであってもよい。そして、塗装面の検査を依頼する依頼者の情報処理端末５から、塗装面画像を受信し、受信した塗装面画像の検査の結果である特定結果や判定結果を、依頼者の情報処理端末５に送信してもよい。なお、通信回線５００は、例えば、インターネットやイントラネット、公衆電話回線網等であってもよい。また、後述する各塗装面検査装置２，３においても、出力に応じた課金が行われてもよい。

［学習器を用いた領域の特定］
領域特定部１３は、上記のように、学習器を用いて領域の特定を行ってもよい。ここでは、その学習器を用いた領域の特定について説明する。まず、領域の特定で用いられる学習器について説明する。この学習器は、塗装金属板を有する対象物の塗装面の撮影画像である訓練用入力情報と、その撮影画像における、サビ色以外の塗装の劣化領域を示す教師図形を含む訓練用出力情報との複数の組の学習結果である。訓練用入力情報と、訓練用出力情報との組を訓練情報と呼ぶこともある。学習器は、例えば、ニューラルネットワーク（ＮＮ：Neural Network）の学習結果であってもよく、それ以外の機械学習の学習結果であってもよい。

ニューラルネットワークは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）であってもよく、それ以外のニューラルネットワーク（例えば、全結合層から構成されるニューラルネットワーク等）であってもよい。畳み込みニューラルネットワークとは、１以上の畳み込み層を有するニューラルネットワークのことである。また、ニューラルネットワークが少なくとも１個の中間層（隠れ層）を有する場合には、そのニューラルネットワークの学習は、深層学習（ディープラーニング、Deep Learning）であると考えてもよい。また、機械学習にニューラルネットワークを用いる場合において、そのニューラルネットワークの層数、各層におけるノード数、各層の種類（例えば、畳み込み層、全結合層など）等については、適宜、選択したものを用いてもよい。なお、入力層と出力層のノード数は、通常、訓練情報に含まれる訓練用入力情報の画素数と訓練用出力情報の画素数とによって決まることになる。本実施の形態では、学習器がＣＮＮの学習結果である場合について主に説明する。

ＣＮＮの学習結果として、例えば、セグメンテーションで用いられるニューラルネットワークの学習結果を用いてもよい。すなわち、ニューラルネットワークの構造は、セグメンテーションと同様の構造としてもよい。なお、セグメンテーションのニューラルネットワークは、例えば、前段に複数の畳み込み層を有しており、後段に１以上のアンプーリング層（unpooling layer）や逆畳み込み層（deconvolution layer）等の画像を拡大する層を有していてもよい。この学習器は、入力と出力とが同じ画素数となる必要があるが、前段の畳み込み層によって、通常、画素数が減ることになるため、後段において、画素数を増やすようにする必要があるからである。

また、各層において、バイアスを用いてもよく、または、用いなくてもよい。バイアスを用いるかどうかは、層ごとに独立して決められてもよい。そのバイアスは、例えば、層ごとのバイアスであってもよく、または、フィルタごとのバイアスであってもよい。前者の場合には、各層において１個のバイアスが用いられることになり、後者の場合には、各層において１個以上（フィルタと同数）のバイアスが用いられることになる。畳み込み層でバイアスを用いる場合には、各画素値にフィルタのパラメータを掛けて足し合わせた結果にバイアスを加算したものが、活性化関数に入力されることになる。このことは、他の学習器についても同様であるとする。

また、ニューラルネットワークにおける各設定は、次のようであってもよい。活性化関数は、例えば、ＲｅＬＵ（正規化線形関数）であってもよく、シグモイド関数であってもよく、その他の活性化関数であってもよい。また、学習では、例えば、誤差逆伝搬法を用いてもよく、ミニバッチ法を用いてもよい。また、損失関数（誤差関数）は、平均二乗誤差であってもよい。また、ｅｐｏｃｈ数（パラメータの更新回数）は特に問わないが、過剰適合とならないｅｐｏｃｈ数が選択されることが好適である。なお、機械学習における学習方法としては、公知の方法を用いることができ、その詳細な説明を省略する。このことは、他の学習器についても同様であるとする。

領域の特定に用いられる学習器は、記憶部１２で記憶されていてもよい。なお、学習器が記憶部１２で記憶されているとは、例えば、学習器そのもの（例えば、入力に対して値を出力する関数や学習結果のモデル等）が記憶されていることであってもよく、学習器を構成するために必要なパラメータ等の情報が記憶されていることであってもよい。後者の場合であっても、そのパラメータ等の情報を用いて学習器を構成できるため、実質的に学習器が記憶部１２で記憶されていると考えることができるからである。本実施の形態では、学習器そのものが記憶部１２で記憶されている場合について主に説明する。このことは、他の記憶部で記憶されている他の学習器についても同様であるとする。

ここで、学習器の生成について説明する。上記のように、訓練用入力情報は、塗装金属板を有する対象物の塗装面の撮影画像である。訓練用入力情報では、円形補正または台形補正等の補正や、トリミング等が行われていることが好適である。訓練用出力情報は、組となる訓練用入力情報の撮影画像において、手動で特定された各領域を示す教師図形を含んでいてもよい。すなわち、撮影画像における各領域に教師図形の設定された結果が、訓練用出力情報であってもよい。例えば、図９で示されるように、訓練用出力情報は、塗装の領域５１、黒サビの領域５２、茶サビの領域５３、白サビの領域５４、塗装の割れ及び剥がれ領域５５、塗装の膨れ領域５６を、それぞれ異なる種類の網掛け等の属性で示す教師図形を含んでいてもよい。異なる領域は、異なる属性の教師図形を用いて学習されることが好適である。属性は、例えば、網掛けなどの模様であってもよく、色（色相）であってもよく、明度や彩度であってもよく、その他の属性であってもよい。なお、訓練用出力情報には、特定したい領域に関する教師図形が含まれていることが好適である。例えば、サビ色の領域と、サビ色以外の塗装の劣化領域と、塗装の領域とを特定したい場合には、その３種類の教師図形が訓練用出力情報に含まれていてもよい。

訓練用入力情報と訓練用出力情報との複数の組を学習することによって、学習器が製造される。そして、塗装金属板を有する対象物の塗装面の撮影画像である塗装面画像が学習器に適用されると、例えば、その塗装面画像に含まれるサビ色以外の塗装の劣化領域等を示す画像を取得することができる。具体的には、領域特定部１３は、受付部１１で受け付けられた塗装面画像を、記憶部１２で記憶されている学習器に適用することによって、属性ごとの領域に分割された画像を取得することができる。すなわち、学習器に、塗装面画像を入力すると、属性ごとの領域に分割された画像が出力されることになる（例えば、図９の訓練用出力情報と同様の画像が出力されることになる）。領域特定部１３は、その出力において、属性ごとに領域を特定することによって、各領域を特定することができる。具体的には、黒サビの領域に対応する教師図形の属性に相当する属性の領域を、学習器の出力画像において特定することによって、黒サビの領域を特定することができる。他の領域についても同様である。また、領域特定部１３は、例えば、特定した各領域について、塗装面の領域における面積の割合を算出してもよい。

なお、図９では、訓練用出力情報が、複数の種類の教師図形を含む場合について説明したが、そうでなくてもよい。１個の訓練用出力情報は、１個の種類の教師図形のみを含むようにしてもよい。その場合には、例えば、黒サビの領域に対応する教師図形のみを含む訓練用出力情報や、塗装の割れ及び剥がれ領域に対応する教師図形のみを含む訓練用出力情報等が用いられることになる。

このように、学習器を用いて領域の特定を行うことによって、領域を特定するためのルールや条件を設定したり、閾値等を調整したりする作業が不要になるため、それらの負担が軽減されるというメリットが得られる。また、学習で用いる訓練情報の個数を増やすことなどによって、精度を向上させることもできる。

［学習器を用いた判定］
判定部１５は、上記のように、学習器を用いて判定を行ってもよい。ここでは、その学習器を用いた判定について説明する。まず、判定で用いられる学習器について説明する。この学習器は、塗装金属板を有する対象物の塗装面におけるサビ色の領域及びサビ色以外の塗装の劣化領域に関する情報である訓練用入力情報と、その対象物の塗装面が異常かどうかの判定結果である訓練用出力情報との複数の組の学習結果である。なお、訓練用入力情報に関して、サビ色の領域に関する情報は、例えば、黒サビの領域、白サビの領域、茶サビの領域ごとの情報であってもよく、サビ色以外の塗装の劣化領域に関する情報は、例えば、塗装の割れ及び剥がれ領域、塗装の膨れ領域ごとの情報であってもよい。また、訓練用入力情報には、塗装の領域に関する情報も含まれていてもよい。その各領域に関する情報は、塗装面における各領域の面積の割合を示す情報であってもよい。学習器は、例えば、ニューラルネットワークの学習結果であってもよく、サポートベクターマシン（ＳＶＭ：Support Vector Machine）の学習結果であってもよく、それ以外の機械学習の学習結果であってもよい。

ニューラルネットワークは、例えば、ＣＮＮであってもよく、全結合層から構成されるニューラルネットワークであってもよく、それ以外のニューラルネットワークであってもよい。機械学習にニューラルネットワークを用いる場合において、そのニューラルネットワークの層数、各層におけるノード数、各層の種類（例えば、畳み込み層、全結合層など）等については、適宜、選択したものを用いてもよい。なお、入力層と出力層のノード数は、通常、訓練情報に含まれる訓練用入力情報の個数と訓練用出力情報の個数とによって決まることになる。この学習器の出力は、異常かどうかであるため、出力層のノード数は、１個であってもよく、２個であってもよい。出力層のノード数が１個である場合には、例えば、その出力値が０であるのか、１であるのかに応じて、判定結果（例えば、正常、異常）が示されてもよい。一方、出力層のノード数が２個である場合には、例えば、正常に対応するノードの出力値が１であるのか、異常に対応するノードの出力値が１であるのかに応じて、判定結果が示されてもよい。このように、出力層のノード数が２個である場合には、例えば、出力層の前段にソフトマックス層が設けられていてもよい。ここでは、まず、学習器がニューラルネットワークの学習結果である場合について説明し、学習器がＳＶＭである場合について後述する。

ここで、学習器の生成について説明する。上記のように、訓練用入力情報は、各領域の面積の割合を示す情報であってもよい。そして、訓練用出力情報は、訓練用入力情報に対応する塗装面が異常かどうかを示す情報である。訓練情報としては、例えば、人が特定した各領域に関する情報と、人が判定した結果とが用いられてもよい。訓練用入力情報と訓練用出力情報との複数の組を学習することによって、学習器が製造される。そして、判定対象の対象物の塗装面におけるサビ色の領域やサビ色以外の塗装の劣化領域等に関する情報が学習器に適用されると、その判定対象の対象物の塗装面が異常かどうかの判定結果を取得することができる。すなわち、学習器に、各領域の面積の割合を示す情報を入力すると、異常かどうかを示す情報が出力されることになる。このようにして、学習器を用いた判定を行うことができる。

ＳＶＭの学習においても、訓練情報は、ニューラルネットワークの学習と同様のものとなる。そして、ＳＶＭの学習結果である学習器を用いて判定を行う場合にも、ニューラルネットワークと同様にして、各領域に関する情報を入力することによって、判定結果が出力されることになる。ＳＶＭは、通常、２値の判定器であるため、このような判定には適している。このように、ＳＶＭを用いることによっても、塗装面に関する判定を行うことができる。

このように、学習器を用いて判定を行うことによって、判定のためのルールや条件を設定したり、設定値を調整したりする作業が不要になるため、それらの負担が軽減されるというメリットが得られる。また、学習で用いる訓練情報の個数を増やすことなどによって、精度を向上させることもできる。

［判定を行う塗装面検査装置］
本実施の形態では、塗装面検査装置１が、領域の特定と共に、判定を行う場合について説明したが、そうでなくてもよい。塗装面検査装置は、領域の特定を行わなくてもよい。その場合には、図１０で示されるように、塗装面検査装置２は、受付部２１と、記憶部２２と、判定部１５と、判定結果出力部１６とを備えたものであってもよい。なお、判定部１５、判定結果出力部１６は、上記説明と同様のものであり、その詳細な説明を省略する。

受付部２１は、塗装金属板を有する対象物の塗装面におけるサビ色の領域及びサビ色以外の塗装の劣化領域に関する情報を受け付ける。なお、受付部２１が受け付けるサビ色の領域に関する情報は、例えば、黒サビの領域、白サビの領域、茶サビの領域ごとの情報であってもよい。また、受付部２１が受け付けるサビ色以外の塗装の劣化領域に関する情報は、例えば、塗装の割れ及び剥がれ領域、塗装の膨れ領域ごとの情報であってもよい。また、受付部２１は、塗装の領域に関する情報も受け付けてもよい。その各領域に関する情報は、塗装面における各領域の面積の割合を示す情報であってもよい。受付部２１が受け付ける各領域に関する情報は、領域特定部１３によって取得される情報と同様のものであり、その詳細な説明を省略する。

受付部２１は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された情報を受け付けてもよく、有線または無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、磁気ディスクや半導体メモリなど）から読み出された情報を受け付けてもよい。なお、受付部２１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、または含まなくてもよい。また、受付部２１は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

記憶部２２では、判定に用いられる情報が記憶されている。例えば、判定で用いられる条件や学習器等が、記憶部２２で記憶されていてもよい。記憶部２２に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が記憶部２２で記憶されるようになってもよく、通信回線等を介して送信された情報が記憶部２２で記憶されるようになってもよく、または、入力デバイスを介して入力された情報が記憶部２２で記憶されるようになってもよい。記憶部２２での記憶は、ＲＡＭ等における一時的な記憶でもよく、または、長期的な記憶でもよい。記憶部２２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現され得る。

判定部１５は、領域特定部１３によって特定された各領域に関する情報に代えて、受付部２１で受け付けられた各領域に関する情報を用いて判定を行う以外は、上記判定部１５と同様のものであり、その詳細な説明を省略する。上記説明のように、判定部１５は、例えば、ルールを用いて判定を行ってもよく、学習器を用いて判定を行ってもよい。

次に、塗装面検査装置２の動作について図１１のフローチャートを用いて説明する。なお、ステップＳ３０１以外の処理は、判定部１５が、領域特定部１３によって特定された各領域に関する情報に代えて、受付部２１で受け付けられた各領域に関する情報を用いて判定を行う以外は、図２のフローチャートと同様であり、その説明を省略する。

（ステップＳ３０１）受付部２１は、塗装金属板を有する対象物の塗装面における各領域に関する情報を受け付けたかどうか判断する。そして、各領域に関する情報を受け付けた場合には、ステップＳ１０５に進み、そうでない場合には、各領域に関する情報を受け付けるまで、ステップＳ３０１の処理を繰り返す。

なお、図１１のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。また、図１１のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

［その他］
本実施の形態では、塗装面検査装置１が領域出力部１４を備える場合について説明したが、そうでなくてもよい。特定された各領域に関する出力を行わなくてもよい場合には、塗装面検査装置１は、領域出力部１４を備えていなくてもよい。

また、本実施の形態では、塗装面検査装置１が判定部１５及び判定結果出力部１６を備える場合について説明したが、そうでなくてもよい。判定を行わなくてもよい場合には、塗装面検査装置１は、判定部１５及び判定結果出力部１６を備えていなくてもよい。

また、本実施の形態では、領域特定部１３が、サビ色以外の塗装の劣化領域として、塗装の割れ及び剥がれ領域と、塗装の膨れ領域との両方を特定する場合について説明したが、そうでなくてもよい。領域特定部１３は、いずれか一方の領域を特定するものであってもよい。また、塗装の膨れ領域のみの特定を行う場合には、領域特定部１３は、サビ色の領域の特定を行わなくてもよい。また、本実施の形態では、一例として、サビ色の領域が、黒サビの領域、白サビの領域、茶サビの領域を含む場合について説明したが、サビ色の領域は、それらの少なくとも１以上の領域を含んでいなくてもよく、他の色のサビの領域（例えば、赤サビや青サビ等の領域）を含んでいてもよい。

（実施の形態２）
本発明の実施の形態２による塗装面検査装置について、図面を参照しながら説明する。本実施の形態による塗装面検査装置は、塗装金属板を有する対象物の撮影画像を学習器に適用することによって、対象物の塗装面が異常かどうかについて判定するものである。

図１２は、本実施の形態による塗装面検査装置３の構成を示すブロック図である。本実施の形態による塗装面検査装置３は、受付部１１と、記憶部３１と、判定部３２と、判定結果出力部３３とを備える。なお、受付部１１の構成及び動作は、実施の形態１と同様であり、その詳細な説明を省略する。

記憶部３１では、判定部３２による判定に用いられる学習器が記憶される。その学習器は、塗装金属板を有する対象物の塗装面の撮影画像である訓練用入力情報と、その対象物の塗装面が異常かどうかの判定結果である訓練用出力情報との組を複数用いて学習された学習結果である。学習器は、例えば、ニューラルネットワークの学習結果であってもよく、それ以外の機械学習の学習結果であってもよい。ニューラルネットワークは、例えば、ＣＮＮであってもよく、それ以外のニューラルネットワーク（例えば、全結合層から構成されるニューラルネットワーク等）であってもよい。学習器は、出力層のノード数が１個または２個であるＣＮＮの学習結果であってもよい。このＣＮＮは、例えば、物体認識で用いられるＣＮＮと同様の構成であってもよい。

ここで、学習器の生成について説明する。訓練用入力情報は、塗装金属板を有する対象物の塗装面の撮影画像である。訓練用入力情報では、円形補正または台形補正等の補正や、トリミング等が行われていることが好適である。また、訓練用出力情報は、訓練用入力情報に対応する対象物の塗装面が異常かどうかを示す判定結果である。訓練用出力情報の判定結果は、例えば、人が判定した結果であってもよい。訓練用入力情報と訓練用出力情報との複数の組を学習することによって、学習器が製造される。

なお、記憶部３１に学習器が記憶される過程は問わない。例えば、記録媒体を介して学習器が記憶部３１で記憶されるようになってもよく、通信回線等を介して送信された学習器が記憶部３１で記憶されるようになってもよい。記憶部３１での記憶は、ＲＡＭ等における一時的な記憶でもよく、または、長期的な記憶でもよい。記憶部３１は、所定の記録媒体（例えば、半導体メモリや磁気ディスクなど）によって実現され得る。

判定部３２は、記憶部３１で記憶されている学習器に塗装面画像を適用することによって、判定対象の対象物の塗装面が異常かどうかの判定を行う。すなわち、学習器に、塗装面画像を入力すると、異常かどうかを示す情報が出力されることになる。このようにして、学習器を用いた判定を行うことができる。

判定結果出力部３３は、判定部３２による判定結果を出力する。なお、判定部１５の判定結果の出力に代えて、判定部３２の判定結果を出力する以外は、判定結果出力部３３は、判定結果出力部１６と同様のものであり、その詳細な説明を省略する。

次に、塗装面検査装置３の動作について図１３のフローチャートを用いて説明する。なお、ステップＳ１０１の処理は、図２のフローチャートと同様であり、その説明を省略する。
（ステップＳ４０１）判定部３２は、受付部１１で受け付けられた塗装面画像を、記憶部３１で記憶されている学習器に適用することによって、判定結果を取得する。

（ステップＳ４０２）判定結果出力部３３は、ステップＳ４０１で取得された判定結果を出力する。そして、ステップＳ１０１に戻る。
なお、図１３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

以上のように、本実施の形態による塗装面検査装置３によれば、塗装面画像を学習器に適用することによって、その塗装面画像に対応する塗装面が異常であるかどうかの判定結果を取得することができる。このように、その判定を自動的に行うことができるため、観察者の感覚や経験に依存しない検査を実現することができるようになる。また、学習器を用いて判定を行うことによって、判定のためのルールや条件を設定したり、設定値を調整したりする作業が不要になるため、それらの負担が軽減されるというメリットが得られる。また、学習で用いる訓練情報の個数を増やすことなどによって、精度を向上させることもできる。

なお、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記各実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。

また、上記各実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。

また、上記各実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

また、上記各実施の形態において、塗装面検査装置１，２，３に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。なお、上記実施の形態による塗装面検査装置１，２，３を実現するソフトウェアは、例えば、次のようなプログラムであってもよい。つまり、プログラムは、コンピュータを、塗装金属板を有する対象物の塗装面の撮影画像である塗装面画像を受け付ける受付部、前記塗装面画像において、サビ色以外の塗装の劣化領域を少なくとも特定する領域特定部として機能させるためのものであってもよい。また、プログラムは、コンピュータを、塗装金属板を有する対象物の塗装面におけるサビ色の領域及びサビ色以外の塗装の劣化領域に関する情報を受け付ける受付部、前記受付部によって受け付けられた各領域に関する情報に応じて、前記対象物の塗装面が異常かどうかの判定を行う判定部、前記判定部による判定結果を出力する判定結果出力部として機能させるためのものであってもよい。また、プログラムは、コンピュータを、塗装金属板を有する対象物の塗装面の撮影画像である塗装面画像を受け付ける受付部、塗装金属板を有する対象物の塗装面の撮影画像である訓練用入力情報と、前記対象物の塗装面が異常かどうかの判定結果である訓練用出力情報との組を複数用いて学習された学習器に前記塗装面画像を適用することによって、判定対象の対象物の塗装面が異常かどうかの判定を行う判定部、前記判定部による判定結果を出力する判定結果出力部として機能させるためのものであってもよい。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。

また、そのプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。また、そのプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明による塗装面検査装置等によれば、対象物の塗装面に関する検査を自動的に行うことができるという効果が得られ、例えば、対象物の塗装面が異常であるかどうかを判定する装置等として有用である。

１、２、３ 塗装面検査装置、１１、２１ 受付部、１３ 領域特定部、１４ 領域出力部、１５、３２ 判定部、１６、３３ 判定結果出力部、１７ 課金部

Claims (4)

1. 塗装金属板を有する対象物の塗装面の撮影画像である塗装面画像を受け付ける受付部と、
   塗装金属板を有する対象物の塗装面の撮影画像である訓練用入力情報と、当該撮影画像における、サビ色の領域及びサビ色以外の塗装の劣化領域を示す教師図形を含む訓練用出力情報との組を複数用いて学習されたニューラルネットワークの学習器に前記塗装面画像を適用することによって、当該塗装面画像に含まれるサビ色の領域及びサビ色以外の塗装の劣化領域を特定する領域特定部と、
   塗装金属板を有する対象物の塗装面におけるサビ色の領域及びサビ色以外の塗装の劣化領域に関する情報である訓練用入力情報と、前記対象物の塗装面が異常かどうかの判定結果である訓練用出力情報との組を複数用いて学習された学習器に、前記領域特定部によって特定された各領域に関する情報を適用することによって、前記対象物の塗装面が異常かどうかの判定を行う判定部と、
   前記判定部による判定結果を出力する判定結果出力部と、を備えた塗装面検査装置。
2. 前記領域特定部によって特定された各領域に関する出力を行う領域出力部をさらに備えた、請求項１記載の塗装面検査装置。
3. 前記受け付けは、受け付け対象の受信であり、
   前記出力は、出力対象の送信であり、
   前記出力に応じて課金を行う課金部をさらに備えた、請求項１または請求項２記載の塗装面検査装置。
4. コンピュータを、
   塗装金属板を有する対象物の塗装面の撮影画像である塗装面画像を受け付ける受付部、
   塗装金属板を有する対象物の塗装面の撮影画像である訓練用入力情報と、当該撮影画像における、サビ色の領域及びサビ色以外の塗装の劣化領域を示す教師図形を含む訓練用出力情報との組を複数用いて学習されたニューラルネットワークの学習器に前記塗装面画像を適用することによって、当該塗装面画像に含まれるサビ色の領域及びサビ色以外の塗装の劣化領域を特定する領域特定部、
   塗装金属板を有する対象物の塗装面におけるサビ色の領域及びサビ色以外の塗装の劣化領域に関する情報である訓練用入力情報と、前記対象物の塗装面が異常かどうかの判定結果である訓練用出力情報との組を複数用いて学習された学習器に、前記領域特定部によって特定された各領域に関する情報を適用することによって、前記対象物の塗装面が異常かどうかの判定を行う判定部、
   前記判定部による判定結果を出力する判定結果出力部として機能させるためのプログラム。

Images