JP4840327B2 - 外観検査方法 - Google Patents

Description

検査対象の外観を検査する外観検査方法に関し、特に検査対象の色の相違により良不良を判定する外観検査方法に関する。

例えば自動車用燃料ポンプに使用される３相直流モータのアーマチュアを駆動するコイルとブラシを接続するターミナルは、銅素材の２枚のターミナル片が重ねて溶接されている。図１１（ａ）（ｂ）を参照して、従来のターミナル部の抵抗溶接を説明する。図１１（ａ）は、ターミナル片１とターミナル片２とを重ねて溶接してターミナル１０とする工程を示す模式図である。ターミナル片１には、予め円形の突起部すなわちプロジェクション３が形成されている。プロジェクション３をターミナル片２に押し付けるようにして、ターミナル片１とターミナル片２とを重ね合わせた後、プロジェクション３を挟むように抵抗溶接用の主電極４と副電極５を押し当てて、両電極４，５間に通電する。この通電によりプロジェクション３の発熱量が高くなりプロジェクション３が溶け出して、ターミナル片１とターミナル片２が抵抗溶接される。図１０（ｂ）に、溶接後のターミナル１０を撮像した画像の一例を示す。なお、図１０（ｂ）に示すように、抵抗溶接用の主電極は、例えば３ｍｍ×１．５ｍｍの大きさのものが使用される。

図１２（ａ）に示すように、抵抗溶接がうまく行われた良品は、プロジェクション３のみが溶融して、その他の部分が焼けたり、溶けたりしていない。しかし、溶接電極の磨耗で接触抵抗が高くなっているような場合など、電極接触部で過電流が流れると、オーバヒートとなり、不良品となることがある。

図１２（ｂ）に、ターミナル溶接における不良品の一例を示す。図１２（ｂ）では、過電流が流れてオーバヒートして、プロジェクション３が溶融するだけでなく、溶接後の荒れがひどく、溶接荒れ部分Ｒでは、電極接触部のメッキが剥がれ、さらには銅素材が溶け出してしまっている。このように、メッキが剥がれて銅素材が溶け出すと、ターミナル１０の腐食、劣化の原因となり、装置の寿命を短くする。さらに、腐食したターミナル表面が剥離して装置内に落下して、装置の動作に悪影響を与えることがある。

ターミナルの溶接不良が発生すると、銅素材が溶け出すことによりターミナル表面が黄銅色となる。したがって、従来では、溶接が正常に行われたか否かは、黄銅色を指標として人間による目視で判定している。しかしながら、目視による判定では、経験が必要であるとともに各人によるばらつきも大きい。したがって、人手に頼るのではなく、溶接の良不良の判定を機械的に行うことが求められている。

なお、画像の類似性や画像から受ける印象に基づいて分類された画像群に対する判別分析であって、人の知覚作用をより正確に反映させた判別分析として、サポートベクターマシンを利用することが公知である（特許文献１参照）。
特開２００６−２２１６０７号公報

目視に代わる外観検査方法としては、撮像した画像から色成分を抽出して判定する色成分判定法を採用することが考えられる。しかし、色成分判定方法では、良品か不良品かを判定できないグレーゾーンの幅が大きい。したがって、不良品を良品として判定することを避けようとすると、良品を不良品とする過剰判定の割合が大きくなり、製造ラインの稼働率が低下することになる。

本発明は、色成分判定ではグレーゾーンに入るワークについて、目視とほぼ同等の判定結果が得られるような外観検査方法を提供することを目的とする。

上記目的を達成するために、請求項１に記載の外観検査方法は、検査対象の表面の色により良不良を判別する外観検査方法において、前記検査対象の画像から所定の色成分を有する画素を抽出して、抽出された画素の面積により前記検査対象の良不良の判別を行うステップと、前記判別の結果、良不良の判別ができないグレーゾーンにある検査対象について、前記所定の色成分に関するテクスチャ解析により導出されたエネルギー、エントロピー、均一度、および前記所定の色成分に関する所定範囲の色相、彩度、および明度を有する画素の水平累計分布値を特徴量としてサポートベクターマシン解析を行い、検査対象の良不良の判別を行うステップと、を有することを特徴とする。
これにより、目視と同程度の判定が可能で、人による判定のばらつきのない外観検査方法を実現できる。また、色成分抽出判定を行った後のグレーゾーンにある検査対象に対してサポートベクターマシン解析を実行するので、検査にかかる時間がいたずらに長くるということがない。
請求項２に記載の外観検査方法は、前記検査対象は、溶接部を有する検査対象であり、前記所定の色成分は、溶接不良の結果現れる色成分であることを特徴とする。
溶接部の良不良を過剰判定することなく判定できるので、溶接による製造工程の稼働率を上げることができる。
請求項３に記載の外観検査方法は、前記所定の色成分に関する所定範囲の色相、彩度、および明度は、ＨＳＶ色空間において、０〜３６０の色相スケールで色相が１０〜３５の範囲にあること、０〜２５５の彩度スケールで彩度が３０〜２５５の範囲にあること、０〜２５５の明度スケールで明度が０〜１１０の範囲にあること、の条件を満たすことを特徴とする。
ＨＳＶ色空間で対象とする色を明確に規定して、検査対象の良不良を過剰判定することなく判定できる。特に、溶接による製造品の過剰判定を少なくすることができる。
請求項４に記載の外観検査方法は、前記色成分による判別を行うステップの後に、テクスチャ解析により導出された前記色成分に関するエネルギーおよびエントロピーの値に基づいて良不良の判別を行うステップを有し、該判別によっても良不良の判別がつかないワークについて、前記サポートベクターマシン解析を行うことを特徴とする。
グレースケールに入る検査対象を、色成分抽出判定のみを行う場合に比較してより減少させることができるので、ＳＶＰ判定の対象を少なくすることができ、検査時間をさらに短縮することできる。テクスチャ解析による色成分に関するエネルギーやエントロピーは、ＳＶＰ判定に使用するものであるから、色成分に関するエネルギーおよびエントロピーの値に基づいて良不良の判別を行うために、特別な準備を必要としない。

以下、図面を参考にして、本発明の実施の形態を説明する。
図１に、本発明の１実施形態である外観検査方法のフローを示す。本実施形態は、抵抗溶接したターミナルの溶接の良否を判定する外観検査方法に関する。

ステップＳ１では、ターミナルのプロジェクション付近を撮像したカラー画像を入力する。ステップＳ２では、解析対象である溶接部を切り出すために、画像内の特定形状を検出して基準位置とする。図２（ａ）に、溶接されたターミナルの画像の一例を示す。本実施形態では、ターミナル２の中間両側に設けられた凸部２１を画像認識により検出して基準位置として用いる。

次に、ステップＳ３では、画像から解析範囲である溶接部画像を切り出す。ステップＳ４では、溶接部画像の画素の色相、彩度、明度をＨＳＶ色空間の点に変換する。なお、本実施形態では、ＨＳＶ色空間は、０〜３６０の範囲の環状の軸を色相軸とし、０〜２５５の範囲の彩度軸、０〜２５５の範囲の明度軸で表現される。図２（ｂ）には、ＨＳＶ色空間に変換された溶接部画像の一例を示す。

次いでステップＳ５では、ブロブ解析が行われる。ここでは、ＨＳＶ色空間上で所定の閾値により黄銅色を抽出して二値化し、その面積を計算する。図２（ｃ）に、二値化した溶接部画像の一例を示す。白く表示されている部分が黄銅色の閾値を超えた部分である。

ステップＳ６では、得られた黄銅色の面積の大きさで良品か不良品かの判定を行う。面積は、０〜１の範囲に収まるように正規化される。良品と判断する閾値は、黄銅色と判定されなかった画素が、例えば全体の０．８を超えるという基準を採用できる。

図３に、以上のような色成分抽出による判定結果の一例を示す。図３のグラフは、横軸は、ワーク番号であり、縦軸は、黄銅色ではない面積の割合である。良品判定の閾値は、０．８であるから、０．８より大きいワークは、良品と判定される。ところで、０．８以下のものは、閾値以下であるから従来の色成分抽出判定では不良品と判定されることになる。しかしながら、実際には０．６〜０．８の間はグレーゾーンであり、良品も多く含まれていることが、目視によりわかっている。したがって、本実施形態では、不良品判定の閾値を０．６として、０．６より小さい値をとるワークは不良品と判定するものの、０．６〜０．８の間はグレーゾーンとして、引き続き解析する。

このように、色成分抽出判定では、良品（ＯＫ）か不良品（ＮＧ）か判断ができないグレーゾーンに入るワークが多くあり、グレーゾーンに入るワークをすべて不良品とすると、過剰判定が大きくなり、ライン可動率が低下することになる。

本実施形態では、グレーゾーンに入るワークの中から良品と不良品を判別するために、テクスチャ解析を利用する。テクスチャとは、何らかの規則的な濃淡変化が表す模様をいい、テクスチャ解析では、例えば濃淡画像の濃淡ヒストグラムを求め、０〜１の範囲に正規化して種々の統計処理を行う。テクスチャの特徴を表現する量として、エネルギー、エントロピー、均一性などがある。例えばエネルギーは、特定の濃淡レベルに集中して画素が存在している場合に大きな値となる、すなわち１に近づく。また、エントロピーは、多くの濃淡レベルの画素が多く存在する場合大きな値となる、すなわち１に近づく。さらに、均一性は、画素の間で濃淡レベルの相違が少ない場合大きな値となる、すなわち１に近づく。エネルギー、エントロピー、均一性を算出する式は、以下のとおりである。

ステップＳ７では、テクスチャ解析を実行し、黄銅色に関するエネルギー、エントロピー、均一性などを算出する。ステップＳ８、Ｓ９では、算出されたエネルギーとエントロピーを用いて、色成分判定でグレーゾーンに入ると判定されたワークに対して、次ぎの条件で良不良の判定を行う。

ステップＳ８では、エネルギーを用いて判定する。エネルギーを用いる場合の良不良の判定は、あるワークについて、そのエネルギーが０．１より小であれば、不良（ＮＧ）と判断し、０．５より大であれば、良（ＯＫ）と判断する。そして、エネルギーが０．１と０．５の範囲にあるワークが、良品と不良品との区別がつかないワークであり、０．１と０．５の範囲がエネルギーのグレーゾーンである。

ステップＳ９では、ステップＳ８のエネルギーによる判定で、グレーゾーンに入ったワークについて、エントロピーを用いて判定する。エントロピーを用いる場合の良不良の判定は、あるワークについて、そのエネルギーが０．２より小であれば、良（ＯＫ）と判断し、０．４５より大であれば、不良（ＮＧ）と判断する。そして、エントロピーが０．２と０．４５の範囲が、良品と不良品との区別がつかないグレーゾーンである。なお、エネルギーによる判定とエントロピーによる判定は、いずれを先に行ってもよい。

テクスチャ解析に基づくエネルギーとエントロピーによる判定でも良不良の判別が不能で、グレーゾーンに入るワークに対して、以下のステップで、サポートベクターマシーン（ＳＶＭ）を用いて良不良の判別を行う。

ＳＶＭは、基本的に２クラスのパターン識別器を構成する手法であり、多次元の特徴量で曲面での閾値を可能とする。ＳＶＭは、カーネル関数を用いて特徴ベクトルを高次元に写像し、この空間における線形分離関数あるいは学習データに適合する最適な超平面を形成する。このように、高次元特徴空間に写像し，特徴空間において線形分離を行うことによって、元の入力空間において非線形な分類が実現できるものである。

ＳＶＭのライブラリは、libsvmライブラリが有名で種々の言語で公開されている。また、画像処理ライブラリＯｐｅｎＣＶ−１．０．０にもこのlibsvmライブラリの機能を実装したＣｖＳＶＭ関数が公開されている。なお、ＯｐｅｎＣＶ−１．０．０については、
http://sourceforge.net/project/downloading.php?group id=22870&use mirror=nchc&filename=OpenCV 1.0.exe&68728521参照。

ＳＶＭの種類には、例えば次ぎのようなものがある。
・Ｃ ＳＶＣ：はずれ値に対するペナルティ乗数Ｃを持ち、不完全な分離を許容する２−クラス分類である。
・ν−ＳＶＣＣ：乗数Cの代わりにパラメータν（と１の範囲）をもつ。
・ＯＮＥ ＣＬＡＳＳ：１−クラスＳＶＭである。
・ν ＳＶＲ（support vector regression）：回帰推定を行うもので、有意確率ｐの代わりにνが用いられる。

また、カーネルの種類には次ぎのようなものがある。

ところで、溶接部分の良否を判定するためにＳＶＭを用いるには、ＳＶＭに使用する特徴量を適切に決定する必要がある。本実施形態では、ＨＳＶ空間に変換して抽出した溶接部分の黄銅色成分に対して、テクスチャ解析を行っている。したがって、その結果得られたエネルギー、エントロピー、均一度をＳＶＭの特徴量として採用することが考えられる。

図５は、本実施形態に適用されるＳＶＭをトレーニングするトレーニングデータの一例を示す。（ａ）は、良判定のトレーニングデータの一部であり、（ｂ）は、不良判定のトレーイングデータである。各図の右側に黒く半円状に撮像されているのがプロジェクション３である。

良判定のトレーニングデータは、人による判定と色成分判定の両方で良判定された２０枚のＯＫ画像からなる。不良判定のトレーニングデータは、人による判定と色成分判定の両方で不良判定された３０枚のＮＧ画像からなる。エネルギー、エントロピー、均一度を特徴量として、ＳＶＭのトレーニングを行い、その結果によりＳＶＭのプレテストを行った。プレテストのためのワークは、人による判定では良品（○）で、色成分判定では不良品（×）の１４個を選定した。

プレテストは、ＳＶＭの種類とカーネルの種類を適宜選択して行った。例えば、ＳＶＭタイプがＣ−ＳＶＣまたはカーネルタイプがシグモイド関数のときは良品と不良品の選別ができなかった。図６に、プレテストの結果を示す。図６に示すように、良好な選別ができたのは、ＳＶＭの種類がν−ＳＶＣ、カーネル関数が線形（Ｌｉｎｅａｒ）あるいは多項式（Ｐｏｌｙ）であった。

ＳＶＭの種類がν−ＳＶＣ、カーネル関数が線形の場合、人が良と判定した１４個のうち６個を良と判定し、不良判定は８個であった。ＳＶＭの種類がν−ＳＶＣ、カーネル関数が多項式の場合、１４個のうち９個を良と判定し、不良判定は５個であった。この結果から、ＳＶＭの種類がν−ＳＶＣ、カーネル関数が多項式の場合が、最適な結果を与えることがわかった。しかしながら、最適な結果といえども、１４個のうち５個は過剰判定をしている。

図７（ａ）（ｂ）に、テクスチャ解析による黄銅色のエネルギーとエントロピー、およびエネルギーと均一度のＶＳＭの学習結果を示す。図７（ａ）では、横軸のエネルギーに対して、縦軸にエントロビーがプロットされている。△が不良（ＮＧ）で、○が良（ＮＧ）を示す。図７（ｂ）では、横軸がエネルギーで、縦軸が均一性である。同様に△が不良
（ＮＧ）で、○が良（ＯＫ）を示す。図７（ａ）（ｂ）ともに、グレーゾーンでは、良品と不良品との分布がオーバラップしている。したがって、エネルギー、エントロピー、均一度の特徴量では、グレーゾーンに入るワークで選別できないものがあることがわかる。

そこで、本実施形態では、さらに溶接状態の特徴量として、溶接領域の黄銅色成分の水平累計分布を加えることにする。累計条件（Ｔ）は、
０〜３６０の色相スケールで色相が１０〜３５の範囲にあること、
０〜２５５の彩度スケールで彩度が３０〜２５５の範囲にあること、
０〜２５５の明度スケールで明度が０〜１１０の範囲にあること、
である。

図８（ａ）（ｂ）に、良品画像の一例とこの良品画像の水平累計分布を示す。図８（ａ）は、図５（a）の良品画像のトレーニングデータの一例（OK101.bmp）を示す。右下にプロジェクション３の一部が見える。図８（ａ）の水平ラインＬは、累計条件（Ｔ）に該当する画素を集計する水平ラインの一例である。図８（ａ）の下端側から等間隔に延びる６３本の水平ラインに沿って、累計条件（Ｔ）に合致する画素をカウントして得られるのが、図８（ｂ）の水平累計分布である。図８（ｂ）では、横軸が水平ラインの本数であり、縦軸が累計条件（Ｔ）に合致する画素数である。

図９（ａ）（ｂ）に、不良品画像の一例とこの不良品画像の水平累計分布を示す。図８（ａ）の下端側から等間隔に延びる６３本の水平ラインに沿って、累計条件（Ｔ）に合致する画素を集計する。この結果得られるのが、図９（ｂ）の水平累計分布である。図９（ｂ）も図８（ｂ）と同様、横軸が水平ラインの本数であり、縦軸が累計条件（Ｔ）に合致する画素数である。

プレテストのときと同じ、図５に示す、人による判定と色成分判定とが合致した２０枚のＯＫ画像と３０枚のＮＧ画像に対して、黄銅色に関するテクスチャ解析から算出されたエネルギー、エントロピー、均一度に、黄銅色に関する累計条件（Ｔ）による水平累計分布を加えて特徴量としてトレーニングを行った。

そして、エネルギー、エントロピー、均一性、累計条件（Ｔ）による水平累計分布を特徴量としてトレーニングされたＳＶＭにより、人による判定では良品で色成分判定では不良品とされた１４個のワークに対して、ＳＶＭ解析を行った。その結果を、図９に示す。ＳＶＭの種類はν−ＳＶＣ、カーネル関数は多項式（Ｐｏｌｙ）である。図９に見られるように、人による判定では良品で色成分判定では不良品とされた１４個のワークに対して、本実施形態によるＳＶＭ判定では、２個のみ過剰判定となり、実用的な溶接検査の自動化が可能となった。

図１に示す実施形態のステップＳ９では、エネルギー、エントロピー、均一性、累計条件（Ｔ）による水平累計分布を特徴量としてトレーニングされたＳＶＭにより、ＳＶＭ解析を行う。そして、ステップＳ１０で、良不良の判定を行う。これにより、従来では、人手に頼るしかなかった溶接検査を自動化することができる。したがって、検査員による判定のばらつきもなくなる。さらに、すべてのワークを対象にＳＶＭを適用するのではなく、色成分抽出法およびテクスチャ解析によってもグレーゾーンに入るワークに対してのみＳＶＭを適用することで、必要以上に検査工程の時間が延びることを避けることができる。

本発明は、実施形態として説明した溶接の良否のみならず、色の変化を伴う外観検査一般に適用可能である。また、図１のステップＳ８、Ｓ９のテクスチャ解析によるエネルギーとエントロピーによる判定は、ＶＳＭの特徴量として算出する必要のあるエネルギーとエントロピーを用いるので、この判定のための特別な準備は必要がなく、ＶＳＭ解析を行うワークを減少させるという利点がある、しかしながら、場合によっては省略することもできる。

本発明の実施形態の動作を説明するフローを示す図である。 （ａ）は、本発明の実施形態の基準位置検出画像の一例を示す図であり、（ｂ）は、解析対象である溶接部分の画像を示す図であり、（ｃ）は、ＨＳＶ色空間で黄銅色により２値化した溶接部分の画像を示す図である。 本発明の実施形態の色成分抽出判定方法による結果の一例を示す図である。 テクスチャ解析に基づく、エネルギーおよびエントロピーの閾値を示す図である。 （ａ）は、本発明の実施形態のＳＶＭの良（ＯＫ）判定のトレーニングデータの一例を示す図であり、（ｂ）は、本発明の実施形態のＳＶＭの不良（ＮＧ）判定のトレーニングデータの一例を示す図である。 エネルギー、エントロピー、均一度を特徴量として行ったＳＶＭのプレテストの結果の一例を示す図である。 （ａ）は、エネルギーとエントロピーの学習結果のグラフを示す図であり、（ｂ）は、エネルギーと均一度の学習結果のグラフを示す図である。 （ａ）は、トレーニングデータの良（ＯＫ）判定画像の一例を示す図であり、（ｂ）は、所定の条件を満たす画素の水平累計分布を示す図である。 （ａ）は、トレーニングデータの不良（ＮＧ）判定画像の一例を示す図であり、（ｂ）は、所定の条件を満たす画素の水平累計分布を示す図である。 本発明の実施形態である、エネルギー、エントロピー、均一度、所定の条件を満たす画素の水平累計分布を特徴量として行ったＳＶＭの結果の一例を示す図である。 （ａ）は、ポンプ用直流モータのターミナルの抵抗溶接を説明する図であり、（ｂ）は、ターミナルの溶接部分の画像の一例である。 （ａ）は、良品であるターミナルの溶接部分の画像の一例であり、（ｂ）は、不良品であるターミナルの溶接部分の画像の一例である。

符号の説明

１０ ターミナル
１，２ ターミナル片
３ プロジェクション
Ｒ 溶接荒れ

Claims (4)

1. 検査対象の表面の色により良不良を判別する外観検査方法において、
   前記検査対象の画像から所定の色成分を有する画素を抽出して、抽出された画素の面積により前記検査対象の良不良の判別を行うステップと、
   前記判別の結果、良不良の判別ができないグレーゾーンにある検査対象について、前記所定の色成分に関するテクスチャ解析により導出されたエネルギー、エントロピー、均一度、および前記所定の色成分に関する所定範囲の色相、彩度、および明度を有する画素の水平累計分布値を特徴量としてサポートベクターマシン解析を行い、検査対象の良不良の判別を行うステップと、
   を有することを特徴とする外観検査方法。
2. 前記検査対象は、溶接部を有する検査対象であり、
   前記所定の色成分は、溶接不良の結果現れる色成分であることを特徴とする請求項１に記載の外観検査方法。
3. 前記所定の色成分に関する所定範囲の色相、彩度、および明度は、
   ＨＳＶ色空間において、
   ０〜３６０の色相スケールで色相が１０〜３５の範囲にあること、
   ０〜２５５の彩度スケールで彩度が３０〜２５５の範囲にあること、
   ０〜２５５の明度スケールで明度が０〜１１０の範囲にあること、
   の条件を満たすことを特徴とする請求項１または２に記載の外観検査方法。
4. 前記色成分による判別を行うステップの後に、テクスチャ解析により導出された前記色成分に関するエネルギーおよびエントロピーの値に基づいて良不良の判別を行うステップを有し、該判別によっても良不良の判別がつかないワークについて、前記サポートベクターマシン解析を行うことを特徴とする請求項１〜３のいずれか１項に記載の外観検査方法。