JP4322230B2 - 表面欠陥検査装置及び表面欠陥検査方法 - Google Patents

Description

本発明は、連続的に配置された複数の発光素子から構成された照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とからなる表面欠陥検査装置、及びこの表面欠陥検査装置を用いた表面欠陥検査方法に関する。

この種の検査装置の代表例として、自動車ボディの塗装面の検査に使用される技術を挙げることができる。そのような表面検査にあっては、被検査面としての塗装面上に存する凹凸や傷等が、その検査対象となる。パターン状の検査光を使用する検査技術として、所謂、ストライプ状、即ち、縦縞模様の明暗を作り出している照明光を塗装面に照射して、照射状態にある塗装面を撮像カメラにより撮像し、得られる撮像画像を用いて表面検査を行う技術がある。（特許文献１及び特許文献２に開示される技術）。

例えば、塗装面を所定方向（例えばＸ方向）に移動させていった場合に、塗装面上にある凹凸面といった欠陥の画像部分が、前記移動方向に直交する方向（例えばＹ方向）の座標を変えることなく、その方向座標（Ｘ座標）を変えながら撮像されることを利用して、欠陥の検出を行うものがあり、欠陥領域の撮像画像においては、明のストライプ部位では暗く、暗のストライプ部位では明るく撮像されことを利用して欠陥を識別することから、欠陥は、ストライプの明部分及び暗部分の中間階調画像として捕らえられる（特許文献１参照）。

表面の周期的な凹凸である「ゆず肌」と呼ばれる欠陥を検出しようとするために、検査光である明暗ストライプの境界線の撮像画像上でのゆらぎにより塗装厚みの班を見出そうとするものがある（特許文献２参照）。この検査手法では、被検査面を移動させる必要はないが、概して、塗装面の比較的広い範囲に渡ってストライプの境界線画像に位置ずれを起こさせるような乱れが発生している塗装面が検出対象となる。
特開平８−１４５９０６号公報（図５、図９及び図１５） 特開平９−１２６７４４号公報（図１３）

特許文献１及び２のような上述した従来の表面検査手法では、被検査面を照明する照明部がストライプ状の明暗パターンを塗装面に照射するので、表面検査に用いる照射光の回り込みは、ストライプ状の明暗パターンと直交（横断）する方向でしか発生しないことになり、検査効率が悪い。しかしながら、被検査面に存在する欠陥に対して照射光の回り込みを四方八方から生じさせるためには、照明部を、内側に所定形状の暗面を残すように発光素子を連続的に配置させたレイアウトパターンを複数組み合わせて構成することになる。このような照明部によって照明された被検査面から撮像カメラを通じて得られる画像には多くの発光素子の発光像が存在することになり、それとともにノイズも増加することになり、ノイズと欠陥との区別が難しくなるという問題が生じる。

上記実状に鑑み、本発明の課題は、被検査面に存在する欠陥に対して照射光の回り込みを四方八方から生じさせるような照明を用いながらも欠陥の誤検出が抑制された表面検査技術を提供することである。

上記課題を解決するため、連続的に配置された複数の発光素子から構成された照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とからなる、本発明による表面欠陥検査装置では、前記発光素子で囲まれた内側に所定形状の暗面を残すようなレイアウトパターンで前記発光素子が繰り返し配置されており、かつ、前記欠陥評価手段が、前記出力信号から生成された画像データに対して、Ｓｏｂｅｌフィルタによる輪郭強調処理を施した後に平均値フィルタによる平滑化処理を施す欠陥強調処理を２回繰り返して行う前処理部と、この前処理部から出力された画像データから前記被検査面の明暗画像を生成する明暗画像生成部と、この明暗画像生成部から出力された明暗画像から欠陥を検出する欠陥決定部を備えている。

この構成では、例えばリング状に連続配置された発光素子群の照射ポイントの内側に、つまり暗面に対向する被検査面に存在している欠陥に対して、その欠陥の全周方向から照射光の一部があたり、その被検査面を撮像した撮像カメラの出力信号から生成された画像データにおいて欠陥を示す比較的輝度値の高い画素がノイズを示す比較的輝度値の低い画素の中に混在することになる。そのような画像データに対して、輪郭強調処理を施した後平滑化処理を施す欠陥強調処理を行うことで欠陥とノイズの輝度値の比、つまりＳ／Ｎ比が向上し、次の２値化処理等によって生成される明暗画像において欠陥が高い信頼性で浮き上がるようになり、欠陥決定部による欠陥検出における誤検出が低減する。

特に、自動車ボディの塗装面のような表面の欠陥検査では、撮像カメラから取得された画像データに対して、前記輪郭強調処理にＳｏｂｅｌフィルタを、前記平滑化処理に平均値フィルタを用いるとともに、前記欠陥強調処理を２回繰り返すことでその後処理において欠陥領域を良好に浮き上がらせるような明暗画像が生成されることが、本願発明者の実験によって明らかになっている。このＳｏｂｅｌフィルタは、横方向走査において((1,0,-1),(2,0,-2),(1,0,-1))のオペレータをもち、縦方向走査において((1,2,1),(0,0,0),(-1,-2,-1))のオペレータをもつ輪郭強調フィルタであり、平均値フィルタは注目画素とその周囲８画素の平均値を注目画素の新しい画素値としていく移動平均法を用いた平滑化フィルタである。

本発明では、上記表面欠陥検査装置の検査アルゴリズムを流用した表面欠陥検査方法も権利の対象としており、連続的に配置された複数の発光素子から構成された照明部を用いるとともに、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する、本発明による表面欠陥検査方法は、前記発光素子のレイアウトに対応する発光像とその発光像で囲まれた内側に暗画像が形成されるように前記照明部からの照射光を被検査面にあてるステップと、前記撮像カメラの出力信号から生成された画像データに対して、Ｓｏｂｅｌフィルタによる輪郭強調処理を施した後に平均値フィルタによる平滑化処理を施す欠陥強調処理を２回繰り返して行うステップと、前記欠陥強調処理後の画像データから前記被検査面の明暗画像を生成するステップと、生成された明暗画像から欠陥を検出するステップから構成されている。当然ながら、このような表面欠陥検査方法も上述した表面欠陥検査装置で述べたすべての作用効果を得ることができる。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

図１に、本発明による表面欠陥検査装置の一例として、コンベア２により紙面左方に搬送されている塗装工程終了後の自動車ボディ１の塗装面を検査する装置の模式的な構成図が示されている。この表面欠陥検査装置は、検査光としての照明光を被検査面である自動車ボディ１の塗装面に照射する照明部３と、この照明部３で照明された被検査面を撮像する撮像カメラ４と、この撮像カメラ４からの出力信号を用いた被検査面における欠陥の存在の評価やその評価欠陥の出力を行うコントローラ５と、このコントローラ５の出力部１０に接続される出力機器としてのモニタ１２やプリンタ１３とから構成されている。コントローラ５には、照明部３の制御を行う照明・撮影制御部９、撮像カメラ４からの出力信号を取り込んでデジタル画像データ（以下単に入力画像と称する）としてメモリ８に展開する画像入力部７、入力画像を用いて欠陥評価を行う欠陥評価手段６が備えられている。さらにコントローラ５は、通信部１１を介してこの表面欠陥検査装置の上位制御体としてのホストコンピュータ１４にデータ伝送可能に接続されている。このホストコンピュータ１４には必要に応じてコントローラ５にダウンロードされる検査対象となる自動車ボディ１の情報やコンベヤ２の動作情報が蓄積されており、さらに、コントローラ５で生成された塗装面の欠陥情報もコントローラ５からホストコンピュータ１４にアップロードされ、そこに蓄積される。また、ホストコンピュータ１４にネットワーク接続された端末によって制御されるプロジェクタ１５やプリンタなどが検査照合ステーションに備えられ、表面欠陥検査装置のコントローラ５からホストコンピュータ１４を介して送られてくる欠陥情報に基づいて、欠陥位置などを検査員に指示するように構成されている。

照明部３の発光面３ａ及び撮像カメラ４のレンズ面４ａは、コンベヤ２によって搬送される自動車ボディ１の被検査面に対向するように配置されているか、あるいは必要に応じて、発光面３ａ及びレンズ面４ａの鉛直線と被検査面の鉛直線ができるだけ一致又は平行となるように被検査面に対して追従制御される。

照明部３は、多数の発光素子（この実施形態ではＬＥＤ素子を用いるので以後ＬＥＤ素子と称することにするが、もちろん本発明の発光素子はＬＥＤ素子に限定されるわけではなく、他の発光素子を用いてもよい）３０を、６角形のスペースを残すような網状（リング状）のレイアウトパターンで、しかもこの６角形レイアウトパターンを繰り返すように連続的に（隣接するＬＥＤ素子３０との間をつめながら）配置した構成を有している。６角形網状に配置されたＬＥＤ素子３０によって残されたスペースは、ここでは暗面３１と呼ばれ、黒もしくは暗色のプレート面である。

網状に配置されたＬＥＤ素子３０によって多くの暗面３１が現出しているが、その内の最も中央に位置する暗面３１に撮像カメラ４のレンズ面４ａが位置するように撮像カメラ４が照明部３に組み込まれている。撮像カメラ４の設置数は、照明部３の発光面３ａサイズによって適宜決定される。

コントローラ５は、ＣＰＵを中核部材として、この表面欠陥検査装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図３に示されているように、本発明に特に関係する機能部として、メモリ８に展開された入力画像を欠陥検出に適した画像に調整する前処理部６０Ａと、前処理された入力画像から明暗画像を生成する明暗画像生成部６０Ｂと、この明暗画像を用いて被検査面上の欠陥を見つけ出す欠陥決定部６０Ｃに分けることができる。

前処理部６０Ａには、入力画像に対する輝度調整を行う輝度調整部６１ａと、輝度調整された入力画像に対してここではＳｏｂｅｌフィルタを用いて輪郭強調処理を行う輪郭強調処理部６１ｃと、輪郭強調処理された入力画像に対してここでは平均値フィルタを用いて平滑化処理を行う平滑化処理部６１ｂとが含まれている。輝度調整部６１ａは、ガンマ調整だけではなく、入力画像に含まれている発光像の輝度レベルが塗装色や塗装面毎の基準となる正常な被検査面から得られるＬＥＤ素子の発光像の輝度レベルに達するように画素領域単位の輝度調整も行うことが可能である。平滑化処理部６１ｂに実装されている平均値フィルタは、注目画素とその周囲８画素の平均値を注目画素の新しい画素値としていく移動平均法を用いたよく知られたフィルタであり、輪郭強調処理部６１ｃに実装されているＳｏｂｅｌフィルタは、横方向走査において((1,0,-1),(2,0,-2),(1,0,-1))のオペレータをもち、縦方向走査において((1,2,1),(0,0,0),(-1,-2,-1))のオペレータをもつフィルタであり、ここで重要なことは、従来からよく行われているような平滑化処理された画像に対して輪郭強調処理を行うのではなく、輪郭強調処理された画像に対して平滑化処理を行うことである。

図４（ａ）と（ｂ）にそれぞれ、前処理を受ける前の典型的な入力画像の濃度値を示す濃度グラフと、前処理後の典型的な入力画像の濃度値を示す濃度グラフが示されている。この濃度グラフは図２で示された照明部３のレイアウトパターンのうちＡ−Ａ線で示された部分の照射像に対応する画素位置を横軸にその画素階調値（濃度）を縦軸にとったものである。Ｓｏｂｅｌフィルタをかけてから平均値フィルタをかける欠陥強調処理を行うことで、ノイズが抑制されるとともに欠陥像と発光像が鋭く明確化されており、後の二値化処理に適した画像となることが理解できる。つまり、本発明では、輝度調整された入力画像に対してＳｏｂｅｌフィルタをかけてから平均値フィルタをかける欠陥強調処理を行うことが重要であり、特に自動車ボディの塗装面に生じる欠陥を検査対象とする場合では、Ｓｏｂｅｌフィルタをかけてから平均値フィルタをかける欠陥強調処理を２回繰り返すことが好適である。

明暗画像生成部６０Ｂには、入力画像の濃淡ヒストグラムから統計的手法で２値化閾値を決定する２値化閾値決定部６２ａと、２値化閾値決定部６２ａによって決定された２値化閾値を用いて前処理部６０Ｂで前処理された入力画像を二値化画像にして明暗画像を生成する２値化処理部６２ｂが含まれている。２値化処理部６２によって２値化された明暗画像の一例が図５に示されている。この２値化明暗画像においては、輝度の高い領域は白く表示されているが、６角形レイアウトパターンで連続配置された発光像であるＬＥＤ素子群は敷き詰められた６角形状の連続して繋がった白い輪郭線として表示され、暗面３１に対向する塗装面領域は暗領域として表示され、場合によっては存在する塗装欠陥はその周囲からの照射光による乱反射により暗領域に浮かぶ白い独立した領域として表示される。このことから、欠陥検出は、２値化画像において、輝度が突出している領域（この実施形態では白い領域）であって所定のパターンで連続していない領域、つまり孤立点を探し出せばよいことになる。所定レベルの輝度値（濃度値）を有しながら連続する画素を探したり、孤立した領域を探したりする画像処理アルゴリズム自体は良く知られたものを用いることができる。

しかしながら、被検査面ここでは塗装面の形状による照射光に対する反射特性の変動等によって、図６に拡大して示すように、本来は連続して繋がった線として現れるＬＥＤ素子３０の発光像に途切れが生じ、その途切れた部分が欠陥として誤検出される可能性がある。このような誤検出を適切に回避するように欠陥決定部６０Ｃは実質的にはプログラムで構成されている。つまり、この欠陥決定部６０Ｃは、所定数以内の画素数から構成される非連続の独立した画素領域を孤立点として検出して欠陥候補とする欠陥候補抽出部６３と、連続配置されたＬＥＤ素子３０の発光像を示す領域に含まれる欠陥候補を欠陥候補から除外する欠陥候補選別部６４と、この欠陥候補選別部６４で欠陥候補から除外された孤立点領域及び背景などの不要画像領域を統合して欠陥判定対象外領域としてマスク処理する画像マスク生成部６５と、画像マスク外に位置する複数の欠陥候補領域を識別するために異なる欠陥候補領域には異なるラベル（番号）を割り当てるラベリング処理を行うラベル設定部６６と、各ラベリングされた欠陥候補領域の面積を演算する面積演算部６７と、この面積演算部６７からの面積情報に基づいて欠陥候補を真の欠陥と判定して欠陥マップに書き込む欠陥判定部６８を備えている。欠陥候補選別部６４は、欠陥候補抽出部６３で抽出された欠陥候補を選別するために、撮像カメラ４から順次送られてくる画像から所定回数欠陥候補として抽出されているかどうかをチェックすることで突発的に生じる明領域を欠陥候補として認識することを防止する欠陥候補時系列判定部６４ａと、図６からよく理解できるように抽出された欠陥候補（孤立点）が連続している発光像の延長線上に位置しているからどうかをチェックすることで発光像の途切れ部を欠陥候補として認識することを防止する発光像非連続部探索部６４ｂを備えている。この発光像非連続部の探索は、連続する発光像画素を辿っていきながらその途切れ端の延長線領域に位置する暗領域を抽出する形状特徴抽出アルゴリズム等を用いて行うことが可能であり、この途切れ領域に存在する孤立点は欠陥候補から除外される。

このように構成された欠陥評価手段６による塗装面の欠陥評価の手順を図７のフローチャートを用いて以下に説明する。
まず、撮像カメラ４から画像入力部７を介して順次送られてくるフレーム画像をメモリ８に取り込む（＃０１）。取り込まれた入力画像は、前処理部６０Ａによって前処理を受ける。この前処理では、まず、輝度調整部６１ａによって輝度（濃度値）調整される（＃０２）。その際入力画像の特徴量が必要となるが、その特徴量は入力画像を所定の区画数で区画し、各区画毎に演算された濃度平均値の最大値を特徴量とすることが好ましい。続いて、Ｓｏｂｅｌフィルタをかけてから平均値フィルタをかける欠陥強調処理を２回行うために、カウント変数ｎに０を代入し、回数を規定する変数ａに２を代入する（＃０３）。まず、Ｓｏｂｅｌフィルタによる輪郭強調処理を行う（＃０４）。さらに、平均値フィルタによる平滑化処理を行う（＃０５）。その後、変数ｎを１だけインクリメントし（＃０６）、変数ｎと変数ａの値を比較する（＃０７）。変数ｎと変数ａの値が異なっていると（＃０７No分岐）、ステップ＃０４にジャンプしてＳｏｂｅｌフィルタをかけてから平均値フィルタをかける処理を繰り返す。変数ｎと変数ａの値が同じであれば（＃０７Yes分岐）、Ｓｏｂｅｌフィルタをかけてから平均値フィルタをかける欠陥強調処理を２回行ったことになるので、明暗画像生成処理部６０Ｂによる処理に入る。２値化閾値決定部６２ａで２値化閾値が決定されると（＃０８）、前述したように前処理された入力画像はこの２値化閾値で２値化処理されて２値化画像となる（＃０９）。

２値化された入力画像から、欠陥候補抽出部６３によって、所定数以内（画像解像度等から予め決定される）の画素数からなる孤立した明画素領域が欠陥候補として抽出される（＃１０）。抽出された欠陥候補のうち外乱光等により瞬時的かつ局地的に生じる孤立点に属する欠陥候補は欠陥候補時系列判定部６４ａによって欠陥候補から除外され（＃１１）、さらに抽出された欠陥候補のうち発光像の途切れ領域に位置する孤立点に属する欠陥候補は発光像非連続部探索部６４ｂによって欠陥候補から除外される（＃１２）。

発光像非連続部探索部６４ｂによって見つけ出された発光像の途切れ領域を含むその周辺領域は、ホストコンピュータ１４から伝送される被検査物としての自動車ボディ１の形状情報やコンベヤ２による搬送位置情報に基づいて決定される被検査面としての塗装面以外の背景領域とともに不要画素領域として画像マスク生成部６５によってマスク処理される（＃１３）。なおこの実施形態では、ホストコンピュータ１４から得られる搬送位置情報は、実際の位置とは異なる可能があるので、レーザーセンサなどを用いてリアルタイムでの自動車ボディ１の位置ずれをチェックして、その画像マスクの位置を修正している（＃１４）。

このようにして欠陥候補の選別や背景画像の除去を終えた後、残されている欠陥候補（孤立点）をラベリングし（＃１５）、各ラベルを割り当てられた孤立点の面積を演算し（＃１６）、予め設定されている面積条件（閾値以上の面積をもつかどうか）を満たしている孤立点だけが真の欠陥として判定し（＃１７）、その座標位置及びサイズなどを欠陥マップに書き込む（＃１８）。

以上で欠陥評価手段６による塗装面の欠陥評価の手順は終了するが、この手順を通じて塗装面の検査が終わると、塗装面検査照合ステーションにおいて、ホストコンピュータ１４を介して表面欠陥検査装置のコントローラ５から送られてきた欠陥マップのうち、塗装面検査照合ステーションに搬入された自動車ボディのＩＤに一致するＩＤを付与されている欠陥マップを用いて、欠陥照合が行われる。その際、検査員による照合作業を容易にするため、該当する欠陥マップに基づいて欠陥箇所を指摘するようにプロジェクタ１５を動作させると好都合である。もちろん、そのような欠陥マップに基づく欠陥情報を表面欠陥検査装置の出力部に接続されたプリンタ１３によって紙出力し、この出力用紙を直接自動車ボディ１に貼り付けてもよい。

本発明による表面欠陥検査装置の模式的に示す構成図 照明部と撮像カメラを示す模式図 表面欠陥検査装置に実装されている欠陥評価手段の構成を示す機能ブロック図 入力画像の濃度特性グラフと入力画像に対してＳｏｂｅｌフィルタをかけてから平均値フィルタをかける処理を２回行った場合の濃度特性グラフ。 ２値化された入力画像を説明する説明図 発光像の途切れ部に存在する孤立点を説明する説明図 欠陥評価手段による被検査面の欠陥評価の手順を示すフローチャート

３：照明部
４：撮像カメラ
５：コントローラ
６：欠陥評価手段
３０：発光素子（ＬＥＤ素子）
３１：暗面
６０Ａ：前処理部
６０Ｂ：明暗画像生成部
６０Ｃ：欠陥決定部
６１ａ：輝度調整部
６１ｂ：平均化処理部（平均値フィルタ）
６１ｃ：輪郭強調処理部（Ｓｏｂｅｌフィルタ）
６２ｂ：２値化処理部
６３：欠陥候補（孤立点）抽出部
６４：欠陥候補選別部
６５：画像マスク生成部
６６：ラベル設定部
６７：面積演算部
６８：欠陥判定部

Claims (2)

1. 連続的に配置された複数の発光素子から構成された照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とからなる表面欠陥検査装置において、
   前記発光素子で囲まれた内側に所定形状の暗面を残すようなレイアウトパターンで前記発光素子が繰り返し配置されており、かつ、前記欠陥評価手段が、前記出力信号から生成された画像データに対して、Ｓｏｂｅｌフィルタによる輪郭強調処理を施した後に平均値フィルタによる平滑化処理を施す欠陥強調処理を２回繰り返して行う前処理部と、この前処理部から出力された画像データから前記被検査面の明暗画像を生成する明暗画像生成部と、この明暗画像生成部から出力された明暗画像から欠陥を検出する欠陥決定部を備えていることを特徴とする表面欠陥検査装置。
2. 連続的に配置された複数の発光素子から構成された照明部を用いるとともに、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する表面欠陥検査方法において、
   前記発光素子のレイアウトに対応する発光像とその発光像で囲まれた内側に暗画像が形成されるように前記照明部からの照射光を被検査面にあてるステップと、前記撮像カメラの出力信号から生成された画像データに対して、Ｓｏｂｅｌフィルタによる輪郭強調処理を施した後に平均値フィルタによる平滑化処理を施す欠陥強調処理を２回繰り返して行うステップと、前記欠陥強調処理後の画像データから前記被検査面の明暗画像を生成するステップと、生成された明暗画像から欠陥を検出するステップからなることを特徴とする表面欠陥検査方法。

Images