JP4349960B2

JP4349960B2 - 表面欠陥検査装置

Info

Publication number: JP4349960B2
Application number: JP2004105450A
Authority: JP
Inventors: 千恵石川; 真理岩田
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2004-03-31
Filing date: 2004-03-31
Publication date: 2009-10-21
Anticipated expiration: 2024-03-31
Also published as: JP2005291844A

Description

本発明は、内側に所定形状の暗面を残すように発光素子を連続的に配置させたレイアウトパターンを複数組み合わせて構成された照明部と、この照明部による照射光によって照明された被検査面を撮像する撮像カメラと、この撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とから構成された表面欠陥検査装置に関する。

この種の検査装置の代表例として、自動車ボディの塗装面の検査に使用される技術を挙げることができる。そのような表面検査にあっては、被検査面としての塗装面上に存する凹凸や傷等が、その検査対象となる。パターン状の検査光を使用する検査技術として、所謂、ストライプ状、即ち、縦縞模様の明暗を作り出している照明光を塗装面に照射して、照射状態にある塗装面を撮像カメラにより撮像し、得られる撮像画像を用いて表面検査を行う技術がある。（特許文献１及び特許文献２に開示される技術）。

例えば、塗装面を所定方向（例えばＸ方向）に移動させていった場合に、塗装面上にある凹凸面といった欠陥の画像部分が、前記移動方向に直交する方向（例えばＹ方向）の座標を変えることなく、その方向座標（Ｘ座標）を変えながら撮像されることを利用して、欠陥の検出を行うものがあり、欠陥領域の撮像画像においては、明のストライプ部位では暗く、暗のストライプ部位では明るく撮像されことを利用して欠陥を識別することから、欠陥は、ストライプの明部分及び暗部分の中間階調画像として捕らえられる（特許文献１参照）。

表面の周期的な凹凸である「ゆず肌」と呼ばれる欠陥を検出しようとするために、検査光である明暗ストライプの境界線の撮像画像上でのゆらぎにより塗装厚みの班を見出そうとするものがある（特許文献２参照）。この検査手法では、被検査面を移動させる必要はないが、概して、塗装面の比較的広い範囲に渡ってストライプの境界線画像に位置ずれを起こさせるような乱れが発生している塗装面が検出対象となる。
特開平８−１４５９０６号公報（図５、図９及び図１５）特開平９−１２６７４４号公報（図１３）

特許文献１及び２のような上述した従来の表面検査手法では、被検査面を照明する照明部がストライプ状の明暗パターンを塗装面に照射するので、表面検査に用いる照射光の回り込みは、ストライプ状の明暗パターンと直交（横断）する方向でしか発生しないことになるので、被検査面に欠陥が存在した場合において、照射光の回り込みを多くの方向から生じさせるためには、照明部を、内側に所定形状の暗面を残すように発光素子を連続的に配置させたレイアウトパターンを複数組み合わせて構成することが好適であるが、撮像カメラを通じて得られた被検査面の画像に多くの発光素子の発光像が存在することになり、その際被検査面の形状等に条件により、連続して配置されている発光素子の発光像が断続してしまって、欠陥との区別が難しくなるという問題が生じる。

上記実状に鑑み、本発明の課題は、内側に所定形状の暗面を残すように発光素子を連続的に配置させたレイアウトパターンを複数組み合わせて構成された照明部を用いた場合でも、欠陥の誤検出が出来るだけ抑制される表面検査装置を提供することである。

上記課題を解決するため、本発明による表面検査装置は、内側に所定形状の暗面を残すように発光素子を連続的に配置させたレイアウトパターンを複数組み合わせて構成された照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とから構成され、前記欠陥評価手段が、前記出力信号から生成された前記被検査面の明暗画像における連続する発光像画素を辿っていきながらその途切れ端の延長線領域に位置する暗領域を抽出し、前記連続配置された発光素子の発光像を示す領域を抽出し、その発光素子の発光像を示す領域に含まれる前記孤立した突出輝度領域を欠陥候補から除外する欠陥候補選別部を備えている。

この構成では、リング状に連続配置された発光素子群の照射ポイントの内側に、つまり暗面に対向する被検査面に存在している欠陥に対して、その欠陥の全周方向から照射光の一部があたることになり、欠陥像が暗い暗面像の中に明るく浮き上がることになって、明暗画像における孤立した突出輝度領域として欠陥候補を検知することが可能となるとともに、連続して配置されている発光素子の発光像が断続部分がやはり孤立した突出輝度領域（孤立点とも称する）として検知されることに対しては、前記欠陥評価手段が、前記出力信号から生成された前記被検査面の明暗画像における連続する発光像画素を辿っていきながらその途切れ端の延長線領域に位置する暗領域を抽出し、前記連続配置された発光素子の発光像を示す領域を抽出し、その発光素子の発光像を示す領域に含まれる前記孤立した突出輝度領域を欠陥候補から除外することで、欠陥誤検出は低減される。被検査面を撮像カメラや照明部に対して相対的に移動させることにより、欠陥は必ず発光素子群の照射ポイントを外れて暗面に対向する位置にくるので、所定パターンで検知される突出輝度領域としての連続発光像の領域を欠陥判定対象外領域としても差し支えない。

多くの発光素子を連続的に配置した照明部を用いていることから、その発光素子の照射光の被検査面での反射光が撮像カメラで捉えられ、撮像カメラから出力される画像に発光像として生じることになるが、この発光像の輝度値は検査条件、特に被検査面の状況によって変動することになる。本発明では、この発光像の輝度値が欠陥判定の重要なリファレンスとなるので、そのような変動を補償すべく、撮像カメラからの出力信号から前記明暗画像を生成する際に基準となる正常な被検査面から得られる前記連続配置された発光素子の発光像の輝度レベルに実際の検査時の連続する発光像領域の輝度レベルが実質的に一致するように画像処理を行う前処理部が備えられると好都合である。取得された撮像画像に対して予め基準となる被検査面に対して得られる発光像の輝度レベルに合わせるような輝度調整を施すことは、その後の欠陥判定の精度向上に結びつく。

被検査面が撮像カメラの撮影視野に比べて小さい場合などにおいて被検査面以外の被写体（背景など）が取得画像内に入り込むことになるが、このような不要画像領域の位置情報は予め予測できたり、良く知られた背景選択アルゴリズムで把握したりすることが可能であるので、本発明では、前述した欠陥候補から除外される突出輝度領域を含むその周辺領域に背景などの不要画像領域を加えて統合した領域を欠陥判定対象外領域として所得画像に対してマスク処理することも提案されている。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

図１に、本発明による表面欠陥検査装置の一例として、コンベア２により紙面左方に搬送されている塗装工程終了後の自動車ボディ１の塗装面を検査する装置の模式的な構成図が示されている。この表面欠陥検査装置は、検査光としての照明光を被検査面である自動車ボディ１の塗装面に照射する照明部３と、この照明部３で照明された被検査面を撮像する撮像カメラ４と、この撮像カメラ４からの出力信号を用いた被検査面における欠陥の存在の評価やその評価欠陥の出力を行うコントローラ５と、このコントローラ５の出力部１０に接続される出力機器としてのモニタ１２やプリンタ１３とから構成されている。コントローラ５には、照明部３の制御を行う照明・撮像制御部９、撮像カメラ４からの出力信号を取り込んでデジタル画像データ（以下単に入力画像と称する）としてメモリ８に展開する画像入力部７、入力画像を用いて欠陥評価を行う欠陥評価手段６が備えられている。さらにコントローラ５は、通信部１１を介してこの表面欠陥検査装置の上位制御体としてのホストコンピュータ１４にデータ伝送可能に接続されている。このホストコンピュータ１４には必要に応じてコントローラ５にダウンロードされる検査対象となる自動車ボディ１の情報やコンベヤ２の動作情報が蓄積されており、さらに、コントローラ５で生成された塗装面の欠陥情報もコントローラ５からホストコンピュータ１４にアップロードされ、そこに蓄積される。また、ホストコンピュータ１４にネットワーク接続された端末によって制御されるプロジェクタ１５やプリンタなどが検査照合ステーションに備えられ、表面欠陥検査装置のコントローラ５からホストコンピュータ１４を介して送られてくる欠陥情報に基づいて、欠陥位置などを検査員に指示するように構成されている。

照明部３の発光面３ａ及び撮像カメラ４のレンズ面４ａは、コンベヤ２によって搬送される自動車ボディ１の被検査面に対向するように配置されているか、あるいは必要に応じて、発光面３ａ及びレンズ面４ａの鉛直線と被検査面の鉛直線ができるだけ一致又は平行となるように被検査面に対して追従制御される。

照明部３は、多数の発光素子（この実施形態ではＬＥＤ素子を用いるので以後ＬＥＤ素子と称することにするが、もちろん本発明の発光素子はＬＥＤ素子に限定されるわけではなく、他の発光素子を用いてもよい）３０を、６角形のスペースを残すような網状（リング状）のレイアウトパターンで、しかもこの６角形レイアウトパターンを繰り返すように連続的に（隣接するＬＥＤ素子３０との間をつめながら）配置した構成を有している。６角形網状に配置されたＬＥＤ素子３０によって残されたスペースは、ここでは暗面３１と呼ばれ、黒もしくは暗色のプレート面である。

網状に配置されたＬＥＤ素子３０によって多くの暗面３１が現出しているが、その内の最も中央に位置する暗面３１に撮像カメラ４のレンズ面４ａが位置するように撮像カメラ４が照明部３に組み込まれている。撮像カメラ４の設置数は、照明部３の発光面３ａサイズによって適宜決定される。

コントローラ５は、ＣＰＵを中核部材として、この表面欠陥検査装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図３に示されているように、本発明に特に関係する機能部として、メモリ８に展開された入力画像を欠陥検出に適した形態に変換する前処理部６０Ａと、前処理された入力画像を用いて被検査面上の欠陥を見つけ出す欠陥決定部６０Ｂに分けることができる。

前処理部６０Ａは、入力画像に対する輝度調整を行う輝度調整部６１と輝度調整された入力画像を２値化処理する２値化処理部６２からなる。この実施形態の輝度調整部６１は、ガンマ調整だけではなく、入力画像に含まれている発光像の輝度レベルが塗装色や塗装面毎の基準となる正常な被検査面から得られるＬＥＤ素子の発光像の輝度レベルに達するように画素領域単位の輝度調整も行うように構成されている。また、２値化処理部６２は、入力画像の濃淡ヒストグラムから統計的手法で２値化閾値を決定する２値化閾値決定部６２ａやノイズ消しのために入力画像に対して平滑化フィルタをかけるとともに発光像や欠陥像の輪郭を強調するためにＳｏｂｅｌフィルタなどのエッジ強調フィルタをかける画像特徴抽出部６２ｂを備え、２値化閾値決定部６２ａによって決定された２値化閾値を用いて画像特徴抽出部６２ｂで強調された入力画像を２値化画像にする。

２値化処理部６２によって２値化された入力画像の一例が図４に示されている。この２値化明暗画像においては、輝度の高い領域は白く表示されているが、６角形レイアウトパターンで連続配置された発光像であるＬＥＤ素子群は敷き詰められた６角形状の連続して繋がった白い輪郭線として表示され、暗面３１に対向する塗装面領域は暗領域として表示され、場合によっては存在する塗装欠陥はその周囲からの照射光による乱反射により暗領域に浮かぶ白い独立した領域として表示される。このことから、欠陥検出は、２値化画像において、輝度が突出している領域（この実施形態では白い領域）であって所定のパターンで連続していない領域、つまり孤立点を探し出せばよいことになる。所定レベルの輝度値（濃度値）を有しながら連続する画素を探したり、孤立した領域を探したりする画像処理アルゴリズム自体は良く知られたものを用いることができる。

しかしながら、被検査面ここでは塗装面の形状による照射光に対する反射特性の変動等によって、図５に拡大して示すように、本来は連続して繋がった線として現れるＬＥＤ素子３０の発光像に途切れが生じ、その途切れた部分が欠陥として誤検出される可能性がある。このような誤検出を適切に回避するように欠陥決定部６０Ｂは実質的にはプログラムで構成されている。つまり、この欠陥決定部６０Ｂは、所定数以内の画素数から構成される非連続の独立した画素領域を孤立点として検出して欠陥候補とする欠陥候補抽出部６３と、連続配置されたＬＥＤ素子３０の発光像を示す領域に含まれる欠陥候補を欠陥候補から除外する欠陥候補選別部６４と、この欠陥候補選別部６４で欠陥候補から除外された孤立点領域及び背景などの不要画像領域を統合して欠陥判定対象外領域としてマスク処理する画像マスク生成部６５と、画像マスク外に位置する複数の欠陥候補領域を識別するために異なる欠陥候補領域には異なるラベル（番号）を割り当てるラベリング処理を行うラベル設定部６６と、各ラベリングされた欠陥候補領域の面積を演算する面積演算部６７と、この面積演算部６７からの面積情報に基づいて欠陥候補を真の欠陥と判定して欠陥マップに書き込む欠陥判定部６８を備えている。欠陥候補選別部６４は、欠陥候補抽出部６３で抽出された欠陥候補を選別するために、撮像カメラ４から順次送られてくる画像から所定回数欠陥候補として抽出されているかどうかをチェックすることで突発的に生じる明領域を欠陥候補として認識することを防止する欠陥候補時系列判定部６４ａと、図５からよく理解できるように抽出された欠陥候補（孤立点）が連続している発光像の延長線上に位置しているからどうかをチェックすることで発光像の途切れ部を欠陥候補として認識することを防止する発光像非連続部探索部６４ｂを備えている。この発光像非連続部の探索は、連続する発光像画素を辿っていきながらその途切れ端の延長線領域に位置する暗領域を抽出する形状特徴抽出アルゴリズム等を用いて行うことが可能であり、この途切れ領域に存在する孤立点は欠陥候補から除外される。

このように構成された欠陥評価手段６による塗装面の欠陥評価の手順を図６のフローチャートを用いて以下に説明する。
まず、撮像カメラ４から画像入力部７を介して順次送られてくるフレーム画像をメモリ８に取り込む（＃０１）。取り込まれた入力画像は、輝度調整部６１によって輝度（濃度値）調整される（＃０２）。その際入力画像の特徴量が必要となるが、その特徴量は入力画像を所定の区画数で区画し、各区画毎に演算された濃度平均値の最大値を特徴量とすることが好ましい。この特徴量は次の２値化閾値の決定は撮像カメラ４のレンズ開口度の調整にも利用できる。２値化閾値決定部６２ａで２値化閾値が決定されるとともに（＃０３）、画像特徴抽出部６２ｂで画像の平滑化及びエッジ強調を行った後（＃０４）、この入力画像は２値化処理されて２値化画像となる（＃０５）。

２値化された入力画像から、陥候補抽出部６３によって、所定数以内（画像解像度等から予め決定される）の画素数からなる孤立した明画素領域が欠陥候補として抽出される（＃０６）。抽出された欠陥候補のうち外乱光等により瞬時的かつ局地的に生じる孤立点に属する欠陥候補は欠陥候補時系列判定部６４ａによって欠陥候補から除外され（＃０７）、さらに抽出された欠陥候補のうち発光像の途切れ領域に位置する孤立点に属する欠陥候補は発光像非連続部探索部６４ｂによって欠陥候補から除外される（＃０８）。

発光像非連続部探索部６４ｂによって見つけ出された発光像の途切れ領域を含むその周辺領域は、ホストコンピュータ１４から伝送される被検査物としての自動車ボディ１の形状情報やコンベヤ２による搬送位置情報に基づいて決定される被検査面としての塗装面以外の背景領域とともに不要画素領域として画像マスク生成部６５によってマスク処理される（＃０９）。なおこの実施形態では、ホストコンピュータ１４から得られる搬送位置情報は、実際の位置とは異なる可能があるので、レーザーセンサなどを用いてリアルタイムでの自動車ボディ１の位置ずれをチェックして、その画像マスクの位置を修正している（＃１０）。

このようにして欠陥候補の選別や背景画像の除去を終えた後、残されている欠陥候補（孤立点）をラベリングし（＃１１）、各ラベルを割り当てられた孤立点の面積を演算し（＃１２）、予め設定されている面積条件（閾値以上の面積をもつかどうか）を満たしている孤立点だけが真の欠陥として判定し（＃１３）、その座標位置及びサイズなどを欠陥マップに書き込む（＃１４）。

以上で欠陥評価手段６による塗装面の欠陥評価の手順は終了するが、この手順を通じて塗装面の検査が終わると、塗装面検査照合ステーションにおいて、ホストコンピュータ１４を介して表面欠陥検査装置のコントローラ５から送られてきた欠陥マップのうち、塗装面検査照合ステーションに搬入された自動車ボディのＩＤに一致するＩＤを付与されている欠陥マップを用いて、欠陥照合が行われる。その際、検査員による照合作業を容易にするため、該当する欠陥マップに基づいて欠陥箇所を指摘するようにプロジェクタ１５を動作させると好都合である。もちろん、そのような欠陥マップに基づく欠陥情報を表面欠陥検査装置の出力部に接続されたプリンタ１３によって紙出力し、この出力用紙を直接自動車ボディ１に貼り付けてもよい。

上述した実施形態では、照明部３が６角形の網状に連続配置されたＬＥＤ素子群で構成されていたが、その網状形態は６角形以外を採用してもよいし、発光素子３０としてＬＥＤ素子以外を採用してもよい。また、撮像カメラ４をＬＥＤ素子群で囲まれた暗面の中に配置する代わりに、照明部３の外側に配置してもよいが、その際はその被検査面に対する撮像カメラ４の撮影角度に基づいて入力画像をあおり補正することで擬似的に入力画像を照明部３の照射面３ａに正確に対向する画像に変換すると好都合である。

上述した実施形態では、欠陥検出のために入力画像を２値化画像に変換していたが、本発明は入力画像の２値化に限定されているわけではなく、３値化及びそれ以上の多値化画像を用いて欠陥検出を行うことも本発明の枠内に入る。

本発明による表面欠陥検査装置の模式的に示す構成図照明部と撮像カメラを示す模式図表面欠陥検査装置に実装されている欠陥評価手段の構成を示す機能ブロック図２値化された入力画像を説明する説明図発光像の途切れ部に存在する孤立点を説明する説明図欠陥評価手段による被検査面の欠陥評価の手順を示すフローチャート

符号の説明

３：照明部
４：撮像カメラ
５：コントローラ
６：欠陥評価手段
３０：発光素子（ＬＥＤ素子）
３１：暗面
６０Ａ：前処理部
６０Ｂ：欠陥決定部
６１：輝度調整部
６２：２値化処理部
６３：欠陥候補（孤立点）抽出部
６４：欠陥候補選別部
６５：画像マスク生成部
６６：ラベル設定部
６７：面積演算部
６８：欠陥判定部

Claims

内側に所定形状の暗面を残すように発光素子を連続的に配置させたレイアウトパターンを複数組み合わせて構成された照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とから構成され、
前記欠陥評価手段が、前記出力信号から生成された前記被検査面の明暗画像における孤立した突出輝度領域を欠陥候補と判定する孤立点抽出部と、
前記明暗画像における連続する発光像画素を辿っていきながらその途切れ端の延長線領域に位置する暗領域を抽出し、前記連続配置された発光素子の発光像を示す領域を抽出し、その発光素子の発光像を示す領域に含まれる前記孤立した突出輝度領域を欠陥候補から除外する欠陥候補選別部
を備えていることを特徴とする表面欠陥検査装置。
前記出力信号から前記明暗画像を生成する際に基準となる正常な被検査面から得られる前記連続配置された発光素子の発光像の輝度レベルに、実際の検査時の連続する発光像領域の輝度レベルが一致するように画像処理を行う前処理部が備えられていることを特徴とする請求項１に記載の表面欠陥検査装置。
欠陥候補から除外された前記突出輝度領域を含むその周辺領域及び背景などの不要画像領域が統合されて欠陥判定対象外領域としてマスク処理されることを特徴とする請求項２に記載の表面欠陥検査装置。