以下、本願の好ましい実施形態について説明する。照明部のパターンの鏡像を精度よく撮像するために、照明部のパターンにピントを合わせる(合焦させる)と、被検物の表面ではピントがずれる場合がある。例えば、被検物の表面が塗装面である場合、カメラで撮像取得した画像において輝度変化が生じても、被検物の表面に対するピントのずれにより、ゴミによる輝度変化なのか、ブツ(塗装の不具合で生じる凹凸等)による輝度変化なのか、画像による判別が困難であった。そこで、異常の判別精度を高めた検査装置、およびこれを備えた検査システムについて、以下に説明する。
本実施形態に係る検査システム1は、図2(A)に示すように、被検物Wkを搬送する搬送装置2と、被検物Wkを検査する検査装置10と、検査装置10を保持する保持装置4と、検査のための画像処理等を行う処理装置5とを備えて構成される。本実施形態に係る検査システム1(検査装置10)により検査が行われる被検物Wkとして、例えば、コンパクトデジタルカメラや、スマートフォン、自動車のボディ等がある。より具体的には、自動車のボディにクリア塗料が塗装されて形成されるクリア塗装面等、光沢を有する被検物Wkの表面の検査が行われる。
搬送装置2は、例えば、ベルトコンベア等を用いて構成され、被検物Wkを前の工程ラインから所定の搬送位置(検査装置10の設置位置)まで搬送する。検査装置10は、前述したように、光沢を有する被検物Wkの表面の検査を行うための装置である。検査装置10は、被検物Wkの表面の検査を行うための画像を取得し、取得した画像データを処理装置5に送信する。保持装置4は、例えば、垂直多関節ロボット(ロボットアーム)等を用いて構成され、保持装置4の先端部に検査装置10が取り付けられる。これにより、保持装置4は、検査装置10を被検物Wkに対して(3次元方向に)相対移動可能に保持する。なお、検査装置10および保持装置4は、被検物Wkの大きさや形状等に応じて、被検物Wk(搬送装置2)の周辺部に複数(もしくは単数)設けられる。
処理装置5は、例えば、PC(パーソナルコンピュータ)等を用いて構成され、検査装置10等と電気的に接続される。処理装置5は、検査装置10から送信された画像データに基づいて、被検物Wkの表面における異常の有無を判定する処理を行う。処理装置5は、検査装置10から送信された画像等を表示可能なモニタ6を有している。なお、処理装置5は、検査装置10の内部に組み込まれてもよい。この場合、検査装置10とモニタ6とが電気的に接続されてもよい。
このような検査システム1を用いた検査方法について述べる。搬送装置2により被検物Wkが所定の搬送位置に搬送されると、各検査装置10はそれぞれ、保持装置4の作動により被検物Wkの表面に沿って相対移動しつつ、被検物Wkの表面における(各検査装置
10ごとに設定された)所定の検査範囲について、被検物Wkの表面の検査を行うための画像を取得し、取得した画像データを処理装置5に送信する。処理装置5は、各検査装置10から送信された画像データに基づいて、被検物Wkの表面における異常の有無を判定する処理を行う。なお、異常が無いと判定された被検物Wkは、搬送装置2により所定の搬送位置から後の工程ラインに向けて搬送される。
なお、上述の検査システム1において、保持装置4は、垂直多関節ロボット(ロボットアーム)等を用いて構成されているが、これに限られるものではない。例えば、図2(B)に示す検査装置101のように、保持装置104は、門型に配置された可動式のフレーム部材等を用いて構成されてもよい。この場合、各検査装置10は、門型の保持装置104における(上辺、左辺および右辺の)各辺に複数並んで取り付けられる。これにより、保持装置104は、検査装置10を被検物Wkに対して(前後方向、左右方向または上下方向に)相対移動可能に保持する。
次に、検査装置の第1実施形態について説明する。第1実施形態に係る検査装置10は、図1に示すように、被検物Wkを照明する照明ユニット20と、照明光のパターンを撮像する撮像部30と、被検物Wkに対する距離および角度を検出する距離・角度検出部40と、これらを保持するヘッド部50と、ヘッド部50の向きを一定に保つための姿勢制御ユニット60とを備えて構成される。
照明ユニット20は、照明部21と、照明移動部26とを有して構成される。照明部21は、ドットパターンP1(図6を参照)を有する照明光で被検物Wkの一部を照明する。照明部21は、例えば図5に示すように、ランプ基板22と、拡散板24とを有して構成される。ランプ基板22の表面には、複数の砲弾型LED23が実装される。砲弾型LED23は、ドットパターンP1の明部Q1を構成する指向性の高い光を発光させる。ランプ基板22の表面における砲弾型LED23の実装部以外の部分には、黒色の艶消し部22aが形成される。艶消し部22aによって、砲弾型LED23からの余分な迷光を低減させ、ドットパターンP1の輝度のコントラストを低下させる要因を排除することができる。拡散板24は、各砲弾型LED23から発光した光を拡散させる。このような構成により、照明部21は、指向性の高い照明光Ltを発光させることが可能である。なお、図4および図5において、照明光Ltの指向性の向きを太い矢印で示す。
図6に示すように、照明光のドットパターンP1は、相対的に明るい円形状の明部Q1と、明部Q1よりも暗い暗部R1とを有し、明部Q1が暗部R1を挟んで2次元的に並ぶ明暗のパターンである。暗部R1を挟んで並ぶ明部Q1の配列は、千鳥配列となっている。図9に、ドットパターンP1の(図9の紙面の左右方向に沿った)輝度分布の一例を示す。このように、ドットパターンP1の輝度分布を示す関数は、ガウス分布(正規分布)の繰り返しを示す関数であることが望ましい。また、ドットパターンP1の輝度分布を示す関数は、正弦関数や余弦関数等の連続関数であってもよい。このように、ドットパターンP1において、少なくとも明部Q1と暗部R1との境界部分の明るさ(輝度)が連続的に変化するようになっている。
なお、照明部21は、被検物Wkの反射率が50%以上の場合、複数の砲弾型LED23の一部を消灯させることで、ドットパターンP1の明部Q1の数を通常よりも減少させるようになっている。これにより、照明部21に照明される被検物Wkの表面の照度を、反射率が50%未満の場合と同様の照度に抑えることができる。このように、被検物Wkの反射率に応じて明部Q1の数を変更することで、撮像部30で撮像取得されるドットパターンP1の画像において、ドットパターンP1の暗部R1の輝度が高くなるのを防止することができ、ドットパターンP1の画像のSN比を向上させることが可能になる。
照明移動部26は、図1に示すように、照明部21(砲弾型LED23)の光軸と垂直な方向に照明部21を移動させることで、照明部21により被検物Wkを照明する位置を移動させる。照明移動部26の作動によって、例えば図9(A)~(C)に示すように、被検物Wkの表面で鏡面反射する照明光のドットパターンP1が被検物Wkの表面に沿って移動する。
照明部21により被検物Wkを照明すると、光沢を有する被検物Wkの表面で照明光が鏡面反射するため、図4に示すように、ドットパターンP1の鏡像Imが形成される。本実施形態において、撮像部30は、被検物Wkの表面に対して合焦して、ドットパターンP1の鏡像Imを撮像する。このように、ドットパターンP1を有する照明光で被検物Wkの表面が照明され、撮像部30が被検物Wkの表面に対して合焦することで、被検物Wkの表面に関するデータを包含した、ドットパターンP1の鏡像Imの画像データに基づく画像解析が可能になる。撮像部30は、前述の処理装置5と電気的に接続され、ドットパターンP1の鏡像Imを撮像すると、撮像したドットパターンP1の画像データを処理装置5に送信する。
距離・角度検出部40は、被検物Wkの表面からの距離を計測可能な3つの測距センサ(図示せず)を有して構成される。3つの測距センサは、ヘッド部50の中央部の所定のセンサ取付位置に並んで取り付けられる。距離・角度検出部40は、3つの測距センサにより計測された3種類の距離情報に基づいて、被検物Wkの表面において照明部21および撮像部30が対向する検査位置からヘッド部50までの距離と、当該検査位置に対するヘッド部50の対向角度を検出する。本実施形態において、ヘッド部50の対向角度とは、被検物Wkの表面の検査位置での法線と、ヘッド部50の中心線とのなす角度とする。この対向角度は、上述に限られるものではなく、被検物Wkの表面に対するヘッド部50(照明部21および撮像部30)の相対角度を示すものであればよい。
ヘッド部50は、照明ユニット20、撮像部30、および距離・角度検出部40等を、互いの相対位置関係が一定となるように保持する。ヘッド部50において、照明ユニット20の照明部21と撮像部30とは、ヘッド部50の中心線に対して略線対称に配置される。これにより、撮像部30は、被検物Wkの表面の検査位置に対するヘッド部50の対向角度が零度のとき(すなわち、被検物Wkの表面の検査位置での法線と、ヘッド部50の中心線とのなす角度が零度のとき)、当該検査位置で照明光が鏡面反射して形成されるドットパターンP1の鏡像Imを撮像することができる。
本実施形態においては、図4に示すように、照明部21から被検物Wkの表面までの距離(ライト・ワーキング・ディスタンス)が、当該表面から撮像部30までの距離(ワーキング・ディスタンス)よりも短くなるように、照明部21と撮像部30とが配置される。また、被検物Wkの表面で鏡面反射した照明光の主光線の向き(照明部21の光軸の向き)が、撮像部30の光軸の向きと異なるように、照明部21の向きが調整される。
姿勢制御ユニット60は、ヘッド移動部61と、フォーカス調整部66とを有して構成される。ヘッド移動部61は、被検物Wkの表面の検査位置に対するヘッド部50の対向角度が零度となるように、被検物Wkの表面の形状に応じて(照明部21および撮像部30を保持する)ヘッド部50を回動させる。ヘッド移動部61の作動制御は、例えば、被検物Wkの設計データに基づいた概略的なヘッド部50の回動制御が行われ、その後、距離・角度検出部40で検出されるヘッド部50の対向角度のデータに基づいて、実際の被検物Wkの表面の形状に応じた詳細なヘッド部50の回動制御が行われる。
フォーカス調整部66は、(距離・角度検出部40で検出される)被検物Wkの表面の検査位置からヘッド部50までの距離が所定の合焦距離となるように、ヘッド部50を直
線移動させる。所定の合焦距離とは、撮像部30が被検物Wkの表面の検査位置に対して合焦状態となる(検査位置からヘッド部50までの)距離である。このように、フォーカス調整部66は、撮像部30が被検物Wkの表面の検査位置に対して合焦するように調整を行う。
第1実施形態の検査装置10において、照明部21は、ドットパターンP1を有する照明光で被検物Wkの表面の検査位置を照明する。撮像部30は、被検物Wkの表面の検査位置に対して合焦して、当該検査位置で照明光が鏡面反射して形成されるドットパターンP1の鏡像Imを撮像する。このとき、撮像部30は、照明移動部26によって照明部21により(被検物Wkの表面の検査位置に対して)照明する位置を移動させた複数のドットパターンP1の鏡像Imを撮像する。撮像部30は、ドットパターンP1の鏡像Imを撮像すると、撮像したドットパターンP1の画像データを処理装置5に送信する。
前述したように、検査装置10は、保持装置4の作動により被検物Wkの表面に沿って相対移動しつつ、被検物Wkの表面における所定の検査範囲について、照明ユニット20による照明および、撮像部30による撮像を繰り返し行う。保持装置4の作動により検査装置10(ヘッド部50)が被検物Wkの表面に沿って相対移動すると、被検物Wkの表面の検査位置が変位する。このとき、ヘッド移動部61は、保持装置4の作動により変位した検査位置に対するヘッド部50の対向角度が零度となるように、被検物Wkの表面の形状に応じてヘッド部50を回動させる。フォーカス調整部66は、保持装置4の作動により変位した検査位置からヘッド部50までの距離が所定の合焦距離となるように、ヘッド部50を直線移動させる。保持装置4の作動により変位した検査位置からヘッド部50までの距離および、当該検査位置に対するヘッド部50の対向角度は、距離・角度検出部40により検出される。
また、照明移動部26は、被検物Wkの表面の検査位置が変位しても、照明部21により照明する位置を常に一定の方向に移動させる。これに限らず、照明移動部26は、被検物Wkの表面の検査位置が変位するごとに、照明部21により照明する位置を一方向と(これとは逆の)他方向とに切り替えて移動させるようにしてもよい。
処理装置5は、検査装置10の撮像部30から送信された画像データに基づいて、被検物Wkの表面における異常の有無を判定する処理を行う。被検物Wkの表面における異常の有無を判定するための画像処理の方法として、いわゆる動的閾値法を用いる方法がある。動的閾値法は、画像の二値化処理の一つの手段で、緩やかな輝度変化を平均化する方法である。例えば、被検物Wkの表面が正常の場合には、図8(A)の左側に示すようにドットパターンP1の輝度変化が一様に(連続的に)なるため、動的閾値法による平均化輝度が図8(A)の右側に示すように一定となる。
ドットパターンP1の明部Q1で異常(例えば、被検物Wkの表面が自動車のクリア塗装面である場合、ブツ、ゴミ、ゆず肌等)が存在する場合には、光テコの原理による照明光の反射方向の変化により、図8(B)の左側に示すように不連続な輝度変化が生じるため、動的閾値法による平均化輝度が図8(B)の右側に示すように変化する。このとき、異常が存在する位置での平均化輝度が所定の検出閾値より小さくなるため、平均化輝度が当該検出閾値より小さくなる位置を、被検物Wkの表面における異常の存在する位置として判定および抽出することが可能である。
ドットパターンP1の暗部R1で異常が存在する場合にも、光テコの原理による照明光の反射方向の変化により、図8(C)の左側に示すように不連続な輝度変化が生じるため、動的閾値法による平均化輝度が図8(C)の右側に示すように変化する。このとき、異常が存在する位置での平均化輝度が所定の検出閾値より小さくなるため、平均化輝度が当
該検出閾値より小さくなる位置を、被検物Wkの表面における異常の存在する位置として判定および抽出することが可能である。このように、明るさ(輝度)が連続的に変化するドットパターンP1を用いることで、動的閾値法を用いた画像処理により、被検物Wkの表面における異常の有無を判定することができる。
また、処理装置5は、検査装置10の撮像部30から送信された、照明移動部26によって照明部21により照明する位置(ドットパターンP1の明部Q1の位置)を移動させた同じ検査位置での複数のドットパターンP1の画像データに基づいて、被検物Wkの表面における異常の有無を判定する処理を行う。図9(A)~(C)に示すように、ドットパターンP1の明部Q1と暗部R1で(異常に対する)検出感度が変化するからである。
被検物Wkの表面において点在する異常(例えば、被検物Wkの表面が自動車のクリア塗装面である場合、ブツ、ゴミ等)によって動的閾値法による平均化輝度が変化する場合、照明移動部26により照明する位置を移動させても、画像処理において抽出される異常の存在する位置は変位しない。被検物Wkの表面において連続的に存在する異常(例えば、被検物Wkの表面が自動車のクリア塗装面である場合、ゆず肌等)によって動的閾値法による平均化輝度が変化する場合、照明移動部26により照明する位置(ドットパターンP1の明部Q1の位置)を移動させると、画像処理において抽出される異常の存在する位置も変位する。例えば、被検物Wkの表面(自動車のクリア塗装面)に形成されるゆず肌は、連続して拡がる凹凸状に形成されるため、ドットパターンP1(明部Q1)の変位による検出感度の変化によって、動的閾値法による平均化輝度が変化する位置も変位するからである。このように、同じ検査位置でドットパターンP1の輝度分布が異なる画像データを用いることで、被検物Wkの表面において点在する異常(ブツ、ゴミ等)であるのか、被検物Wkの表面において連続的に存在する異常(ゆず肌等)であるのかを判別することが可能であり、異常の誤検知を防止する効果を得ることも可能である。
以上説明したように、第1実施形態によれば、撮像部30は、被検物Wkの表面に対して合焦して、ドットパターンP1の鏡像Imを撮像するため、被検物Wkの表面に関するデータを包含した、ドットパターンP1の鏡像Imの画像データに基づく画像解析が可能になる。このように、被検物Wkの表面に対して合焦した状態で撮像取得した画像において輝度変化が生じると、例えば、被検物Wkの表面が自動車のクリア塗装面である場合、ゴミによる輝度変化なのか、ブツによる輝度変化なのかを判別することが可能になり、異常の判別精度を高めることができる。
第1実施形態において、照明光のドットパターンP1は、相対的に明るい明部Q1と、明部Q1よりも暗い暗部R1とを有し、明部Q1が暗部R1を挟んで2次元的に並ぶ明暗のパターンであり、明部Q1と暗部R1との境界部分の明るさ(輝度)が連続的に変化するようになっている。明るさ(輝度)が二値的な明暗のパターンを用いる場合と比較して、少なくとも明部Q1と暗部R1との境界部分の明るさが連続的に変化するドットパターンP1を用いることで、動的閾値法を用いた画像処理等により、明部Q1および暗部R1の配列ピッチよりも小さな異常であっても異常の種類を判別することが可能である。そのため、ドットパターンP1を有する照明光で照明する範囲を広げることが容易になり、撮像部30による一度の撮像で検査可能な範囲を広くすることができる。
また、明部と暗部との境界部分が明瞭に映るパターンの画像を得る必要がないため、撮像部30を、照明部21のドットパターンP1に対して合焦させずに、被検物Wkの表面に対して合焦させることが可能になる。そのため、被検物Wkの表面に関するデータを包含した、データ量の豊富なドットパターンP1の鏡像Imの画像データを得ることができる。例えば、画像処理において異なる種類の異常を判別して認識するために、AI(人工知能)による機械学習(ディープラーニング)を行う場合、データ量が豊富になるため、
効率的な学習を行うことが可能である。
第1実施形態において、ドットパターンP1において暗部R1を挟んで並ぶ明部Q1の配列は、千鳥配列となっている。これにより、ドットパターンP1の輝度分布が縦横の方向で一様となるため、ドットパターンP1の向きに拘わらず、異常の判別精度を高くすることができる。また、ドットパターンP1の明部Q1が円形状に形成されることで、明部Q1の形状が回転対称な形状になる。これにより、千鳥配列のドットパターンP1において、ドットパターンP1の輝度分布が縦横および斜めの方向で一様となるため、ドットパターンP1の向きに拘わらず、異常の判別精度を高くすることができる。
第1実施形態において、照明部21から被検物Wkの表面までの距離(ライト・ワーキング・ディスタンス)が、当該表面から撮像部30までの距離(ワーキング・ディスタンス)よりも短くなるように、照明部21と撮像部30とが配置される。照明部21から被検物Wkの表面までの距離が短くなると、照明光による被検物Wkの表面の照度が高くなるため、簡便な構成で、ドットパターンP1の画像における明部Q1の輝度を高くすることが可能である。
第1実施形態において、被検物Wkの表面で鏡面反射した照明光の主光線の向き(照明部21の光軸の向き)が、撮像部30の光軸の向きと異なるように、照明部21と撮像部30とが配置される。これにより、被検物Wkの表面で鏡面反射した照明光の主光線が撮像部30に直接入射しないため、照明部21から発光した照明光の照度ムラの影響を抑えることができ、ドットパターンP1の画像における中央部と周辺部での輝度の均一性を高くすることができる。
また例えば、被検物Wkの表面が自動車のクリア塗装面である場合、ドットパターンP1を有する照明光で被検物Wk(自動車のボディ)を照明すると、クリア塗装面で鏡面反射した照明光に加え、クリア塗料の下層に塗装された上塗り塗料(例えば、メタリックカラーの塗料、パールカラーの塗料、ソリッドカラーの塗料等)の塗装面で鏡面反射した照明光も撮像部30に入射する。この場合、照明部21からクリア塗装面までの距離を短くする方法等によって、照明光によるクリア塗装面の輝度を高くしようとすると、ドットパターンP1の画像において、明部Q1の輝度だけでなく、暗部R1の輝度も高くなる。そのため、ドットパターンP1の画像の明暗のコントラストが低くなり、異常の判別精度が低下する可能性がある。上述したように、被検物Wkの表面で鏡面反射した照明光の主光線の向き(照明部21の光軸の向き)が、撮像部30の光軸の向きと異なるように照明部21等を配置すれば、上塗り塗料の塗装面で鏡面反射した照明光が撮像部30に入射するのを抑えることができるため、ドットパターンP1の画像において、明部Q1の輝度を高くしつつ、暗部R1の輝度を低く抑えることができる。そのため、ドットパターンP1の画像の明暗のコントラストを高くすることができ、異常の判別精度を高くすることが可能になる。
第1実施形態において、被検物Wkの表面の検査位置(照明部21および撮像部30が対向する部分)に対する、ヘッド部50(照明部21および撮像部30)の向きが一定となるように、被検物Wkの表面の形状に応じてヘッド部50(照明部21および撮像部30)を回動させるヘッド移動部61が設けられる。これにより、検査装置10を被検物Wkの表面に沿って相対移動させた場合に、被検物Wkの表面が曲面であっても、被検物Wkの表面の検査位置に対する、ヘッド部50(照明部21および撮像部30)の向きを一定に保つことができ、異常の判別精度を高く安定させることができる。
第1実施形態において、撮像部30が被検物Wkの表面に対して合焦するように調整を行うフォーカス調整部が設けられる。これにより、検査装置10を被検物Wkの表面に沿
って相対移動させた場合に、被検物Wkの表面が曲面であっても、撮像部30が被検物Wkの表面に対して合焦する状態を保つことができ、異常の判別精度を高く安定させることができる。
次に、検査装置の第2実施形態について説明する。第2実施形態の検査装置110は、図10に示すように、照明ユニット20と、撮像部30と、距離・角度検出部40と、ブロア170と、イオナイザ180と、これらを保持するヘッド部50と、姿勢制御ユニット60とを備えて構成される。第2実施形態において、照明ユニット20、撮像部30、距離・角度検出部40、ヘッド部50、および姿勢制御ユニット60は、第1実施形態と同様の構成であるため、第1実施形態と同一の符号を付して詳細な説明を省略する。
ブロア170は、被検物Wkの表面の検査位置に向けて、当該検査位置に付着したゴミ等を吹き飛ばすためのエアを噴出させる。イオナイザ180は、被検物Wkの表面に付着したゴミ等に帯電した静電気を除電するための装置である。
第2実施形態の検査装置110において、照明部21は、ドットパターンP1を有する照明光で被検物Wkの表面の検査位置を照明する。撮像部30は、被検物Wkの表面の検査位置に対して合焦して、当該検査位置で照明光が鏡面反射して形成されるドットパターンP1の鏡像Imを撮像する。このとき、撮像部30は、照明移動部26によって照明部21により(被検物Wkの表面の検査位置に対して)照明する位置を移動させた複数のドットパターンP1の鏡像Imを撮像する。撮像部30は、ドットパターンP1の鏡像Imを撮像すると、撮像したドットパターンP1の画像データを処理装置5に送信する。
第1実施形態と同様に、検査装置110は、保持装置4の作動により被検物Wkの表面に沿って相対移動しつつ、被検物Wkの表面における所定の検査範囲について、照明ユニット20による照明および、撮像部30による撮像を繰り返し行う。処理装置5は、検査装置110の撮像部30から送信された画像データに基づいて、被検物Wkの表面における異常の有無を判定する処理を行う。また、処理装置5は、検査装置110の撮像部30から送信された、照明移動部26によって照明部21により照明する位置(ドットパターンP1の明部Q1の位置)を移動させた同じ検査位置での複数のドットパターンP1の画像データに基づいて、被検物Wkの表面における異常の有無を判定する処理を行う。
例えば、被検物Wkの表面が自動車のクリア塗装面である場合、第2実施形態においても、第1実施形態と同様に、ゴミによる輝度変化なのか、ブツによる輝度変化なのかを判別することが可能である。第2実施形態では、処理装置5による画像処理等により、被検物Wkの表面にゴミがあると判定された場合、ブロア170およびイオナイザ180を用いて、被検物Wkの表面の検査位置に付着したゴミを除去することが可能である。
ここで、被検物Wkの表面における異常の有無を判定する処理の一例について、図15のフローチャートを参照して説明する。なお、処理装置5は、記憶部(図示せず)に記憶された所定の処理プログラムに基づいて、各処理を実行する。また、第2実施形態の検査装置110に限らず、第1実施形態の検査装置10を用いても、同様の処理が可能であることはいうまでもない。
まず、処理装置5は、画像入力処理(ステップST101)を実行する。画像入力処理(ステップST101)において、処理装置5は、検査装置110の撮像部30から入力された画像データを記憶部(図示せず)に記憶させる。また、処理装置5は、照明移動部26によって照明部21により照明する位置を移動させて撮像取得した複数の画像データを記憶部に記憶させる。
次に、処理装置5は、平均化処理(ステップST102)を実行する。平均化処理(ステップST102)において、処理装置5は、記憶部(図示せず)に記憶された画像データについて、動的閾値法によるドットパターンP1の平均化輝度を求める。
次に、処理装置5は、ノイズ処理(ステップST103)を実行する。ノイズ処理(ステップST103)において、処理装置5は、動的閾値法によるドットパターンP1の平均化輝度を求める際に加わったノイズを除去する。
次に、処理装置5は、面積/重心計算処理(ステップST104)を実行する。面積/重心計算処理(ステップST104)において、処理装置5は、動的閾値法によるドットパターンP1の平均化輝度が所定の検出閾値より小さくなる位置を求め、ドットパターンP1の画像において平均化輝度が所定の検出閾値より小さくなる部分の面積および重心を計算して求める。
次に、処理装置5は、画像抽出処理(ステップST105)を実行する。画像抽出処理(ステップST105)において、処理装置5は、先のステップST104で求めた面積および重心に基づいて、ドットパターンP1の画像において平均化輝度が所定の検出閾値より小さくなる部分の画像を、異常候補画像として抽出する。例えば、ドットパターンP1の画像に対して関心領域(ROI:Region Of Interest)を設定することで、異常候補画像を抽出することができる。
次に、処理装置5は、特徴量計算処理(ステップST106)を実行する。特徴量計算処理(ステップST106)において、処理装置5は、先のステップST105で抽出した異常候補画像の特徴量を計算する。異常候補画像の特徴量として、例えば、異常候補画像がゴミの画像であることを認識するための特徴量や、異常候補画像がブツの画像であることを認識するための特徴量がある。この特徴量は、ブロブ解析や、AI(人工知能)による機械学習(ディープラーニング)を利用して求めることが可能である。
そして、処理装置5は、閾値処理(ステップST107)を実行する。閾値処理(ステップST107)において、処理装置5は、先のステップST106で求めた異常候補画像の特徴量を所定の判別閾値と比較し、比較結果に応じて、被検物Wkの表面における異常の有無を判定する。例えば、異常候補画像がゴミの画像であることを認識するための特徴量が(対応する)第1の判別閾値を超えた場合に、ドットパターンP1の画像に含まれるゴミの画像を認識して、被検物Wkの表面にゴミが有ると判定することが可能である。また例えば、異常候補画像がブツの画像であることを認識するための特徴量が(対応する)第2の判別閾値を超えた場合に、ドットパターンP1の画像に含まれるブツの画像を認識して、被検物Wkの表面にブツが有ると判定することが可能である。
以上説明したように、第2実施形態によれば、第1実施形態と同様の効果を得ることができる。
次に、検査装置の第3実施形態について説明する。第3実施形態の検査装置110は、図11に示すように、照明ユニット20と、撮像部30と、補助照明ユニット215と、これらを保持するヘッド部50と、姿勢制御ユニット60とを備えて構成される。第3実施形態において、照明ユニット20、撮像部30、距離・角度検出部40、ヘッド部50、および姿勢制御ユニット60は、第1実施形態と同様の構成であるため、第1実施形態と同一の符号を付して詳細な説明を省略する。
補助照明ユニット215は、補助照明部216と、補助照明移動部217とを有して構成される。補助照明部216は、ドットパターンP1と同様に形成された補助パターンP
A(図12を参照)を有する補助照明光で被検物Wkの一部を照明する。補助照明部216は、撮像部30を囲む環状に形成されて、撮像部30の周辺部に配置される。補助照明部216は、照明部21と同様に、指向性の高い補助照明光を発光させることが可能で、補助照明光の指向性の向きは撮像部30の光軸と略平行である。これにより、補助照明部216は、撮像部30の光軸に沿った方向から被検物Wkの一部を照明する。補助照明部216による補助照明光の照明範囲は、照明部21による照明光の照明範囲より狭い範囲(被検物Wkの表面における撮像部30の光軸が通る部分の近傍の範囲)に設定される。
補助照明部216は、照明部21と同様に、ランプ基板(図示せず)と、拡散板(図示せず)とを有して構成される。補助照明部216のランプ基板および拡散板は、照明範囲を除いて、照明部21のランプ基板22および拡散板24と同様の構成であるため、詳細な説明および図示を省略する。補助照明光の補助パターンPAは、ドットパターンP1と同様に、相対的に明るい円形状の明部(図示せず)と、明部よりも暗い暗部(図示せず)とを有し、明部が暗部を挟んで2次元的に並ぶ明暗のパターンである。補助照明光の補助パターンPAは、照明光のパターンに応じて(同様に)形成されるため、詳細な図示を省略する。補助照明移動部217は、撮像部30の光軸と垂直な方向に補助照明部216を移動させることで、照明移動部26が照明部21により被検物Wkを照明する位置を移動させるのに合わせて、補助照明部216により被検物Wkを照明する位置を移動させる。
第3実施形態の検査装置210において、照明部21は、ドットパターンP1を有する照明光で被検物Wkの表面の検査位置を照明する。撮像部30は、被検物Wkの表面の検査位置に対して合焦して、当該検査位置で照明光が鏡面反射して形成されるドットパターンP1の鏡像Imを撮像する。このとき、撮像部30は、照明移動部26によって照明部21により(被検物Wkの表面の検査位置に対して)照明する位置を移動させた複数のドットパターンP1の鏡像Imを撮像する。撮像部30は、ドットパターンP1の鏡像Imを撮像すると、撮像したドットパターンP1の画像データを処理装置5に送信する。
第1実施形態と同様に、検査装置210は、保持装置4の作動により被検物Wkの表面に沿って相対移動しつつ、被検物Wkの表面における所定の検査範囲について、照明ユニット20による照明および、撮像部30による撮像を繰り返し行う。処理装置5は、検査装置210の撮像部30から送信された画像データに基づいて、被検物Wkの表面における異常の有無を判定する処理を行う。また、処理装置5は、検査装置210の撮像部30から送信された、照明移動部26によって照明部21により照明する位置(ドットパターンP1の明部Q1の位置)を移動させた同じ検査位置での複数のドットパターンP1の画像データに基づいて、被検物Wkの表面における異常の有無を判定する処理を行う。
第3実施形態では、補助照明部216が、補助パターンPAを有する補助照明光で、撮像部30の光軸に沿った方向から被検物Wkの表面の検査位置を照明する。撮像部30と補助照明部216との距離に対して、被検物Wkの表面から撮像部30までの距離(ワーキング・ディスタンス)が十分に長いため、補助照明部216から発光した補助照明光は、撮像部30の光軸と略平行に進んで検査位置に達するものとみなすことができる。通常の場合(例えば、被検物Wkの表面における検査位置に対応する部分が平面もしくは緩やかな曲面の場合)、補助照明部216から発光した補助照明光は、被検物Wkの表面の検査位置で正反射して照明部21の方へ進むため、撮像部30が補助パターンPAの鏡像を撮像することはない。
ここで、図12に示すように、被検物Wkの表面における検査位置に対応する部分が折れ曲がっている場合について述べる。この場合、当該折れ曲がっている部分(以下、説明容易化のため、折れ曲がり曲面Wksと称する)の法線が撮像部30の光軸と一致していると、照明部21から発光して折れ曲がり曲面Wksで正反射した照明光は、撮像部30
の光軸を跨いで撮像部30の光軸に対して傾斜する方向へ進むため、撮像部30に達することができない。そのため、撮像部30は、折れ曲がり曲面Wksで照明光が鏡面反射して形成されるドットパターンP1の鏡像Imを撮像することができない。
一方、補助照明部216から発光した補助照明光は、撮像部30の光軸と略平行に進んで折れ曲がり曲面Wksに達する。そして、補助照明部216から発光して折れ曲がり曲面Wksで正反射した補助照明光は、撮像部30の光軸に沿って進んで撮像部30に達する。これにより、撮像部30は、折れ曲がり曲面Wksにおいては、ドットパターンP1の鏡像Imに代えて、折れ曲がり曲面Wksで補助照明光が鏡面反射して形成される補助パターンPAの鏡像を撮像することができる。すなわち、撮像部30は、ドットパターンP1の鏡像と補助パターンPAの鏡像を同時に撮像することができる。補助パターンPAがドットパターンP1と同様に形成されることで、撮像部30は、撮像した補助パターンPAの画像データを、通常の場合の(ドットパターンP1の)画像データと同様の処理が可能な画像データとして、処理装置5に送信することが可能である。
また、補助照明移動部217は、照明移動部26が照明部21により被検物Wkを照明する位置を移動させるのに合わせて、補助照明部216により被検物Wkを照明する位置を移動させる。これにより、撮像部30は、ドットパターンP1の明部Q1と同様に補助パターンPAの明部(図示せず)の位置を移動させた同じ検査位置(折れ曲がり曲面Wks)での複数の補助パターンPAの画像データを得ることができる。そのため、処理装置5は、被検物Wkの表面における検査位置に対応する部分が折れ曲がっている場合であっても、通常の場合と同様に、補助照明移動部217によって補助照明部216により照明する位置(補助パターンPAの明部の位置)を移動させた同じ検査位置(折れ曲がり曲面Wks)での複数の補助パターンPAの画像データに基づいて、被検物Wkの表面における異常の有無を判定する処理を行うことが可能である。
以上説明したように、第3実施形態によれば、第1実施形態と同様の効果を得ることができる。また、第3実施形態によれば、撮像部30の光軸に沿った方向から被検物Wkを照明する補助照明部216が設けられるため、被検物Wkの表面が途中で折れ曲がっている場合でも、被検物Wkの表面の検査を確実に行うことができる。
上述の第3実施形態において、補助照明部216は、撮像部30を囲む環状に形成されて、撮像部30の周辺部に配置されているが、これに限られるものではない。撮像部30の光軸と略平行に進む補助照明光を発光させることが可能であれば、補助照明部は、例えば平板状に形成されて、撮像部30の近傍に並んで配置されるようにしてもよい。
上述の各実施形態において、照明光のパターン(および補助照明光の補助パターン)としてドットパターンP1を用いているが、これに限られるものではない。例えば、図14(A)に示すように、照明光のパターンとしてチェッカーパターンP2を用いるようにしてもよい。チェッカーパターンP2は、相対的に明るい矩形状の明部Q2と、明部Q2よりも暗い矩形状の暗部R2とを有し、明部Q2が暗部R2を挟んで2次元的に並ぶ明暗のパターンである。暗部R2を挟んで並ぶ明部Q2の配列は、千鳥配列である。チェッカーパターンP2の輝度分布は、ドットパターンP1の輝度分布と同様に(輝度が連続的に変化するように)設定される。
また例えば、図14(B)に示すように、照明光のパターンとして縞パターンP3を用いるようにしてもよい。縞パターンP3は、相対的に明るい縞状の明部Q3と、明部Q3よりも暗い縞状の暗部R3とを有し、明部Q3が暗部R3を挟んで一列に並ぶ明暗のパターンである。縞パターンP3の輝度分布は、明部Q3および暗部R3の配列方向において、ドットパターンP1の輝度分布と同様に(輝度が連続的に変化するように)設定される
。
また例えば、上述した明暗のパターンを有する照明光に限らず、面状に拡がる照明光で被検物Wkを照明するようにしてもよい。この場合、面状に拡がる照明光の外周部(明部と暗部との境界部分)の明るさ(輝度)が連続的に変化するようにしてもよい。この面状に拡がる照明光も、パターンを有する照明光の一形態である。なお、面状に拡がる照明光を用いた場合の異常の検知可能領域を図7(A)に示し、ドットパターンP1を有する照明光を用いた場合の異常の検知可能領域を図7(B)示す。図7(A)に示すように、面状に拡がる照明光を用いた場合の異常の検知可能領域は、照明光の外周部に沿った枠状の狭い領域に限定される。一方、図7(B)示すように、ドットパターンP1を有する照明光を用いた場合の異常の検知可能領域は、ドットパターンP1のほぼ全体に亘る広い領域となる。
上述の各実施形態において、照明部21は、複数の砲弾型LED23を有して構成されているが、これに限られるものではない。例えば、図13(A)に示す照明部221のように、複数の非砲弾型LED223が実装されたランプ基板222と、指向性の高い拡散光が得られる拡散板224とを有して構成されてもよい。これにより、上述の照明部21の場合と同様に、指向性の高い照明光を発光させることが可能である。非砲弾型LED223として、例えば、帽子型LEDや、チップLED等がある。ランプ基板222の表面における非砲弾型LED223の実装部以外の部分には、上述のランプ基板22と同様に、黒色の艶消し部222aが形成される。
また例えば、図13(B)に示す照明部321のように、前述した明暗のパターン(ドットパターンP1、チェッカーパターンP2、縞パターンP3等)を有する照明光を発光させることが可能な面発光装置322を有して構成されてもよい。面発光装置322は、例えば液晶パネル等を用いて構成される。このようにしても、指向性の高い照明光を発光させることが可能である。なお、図13(A)~(B)において、照明光の指向性の向きを太い矢印で示す。
上述の各実施形態において、照明部21から被検物Wkの表面までの距離が、当該表面から撮像部30までの距離よりも短くなるように、照明部21と撮像部30とが配置されているが、これに限られるものではない。例えば、照明部21から被検物Wkの表面までの距離が、当該表面から撮像部30までの距離よりも長くなるように、照明部21と撮像部30とが配置されてもよい。この場合、被検物Wkの表面で鏡面反射した照明光の主光線の向き(照明部21の光軸の向き)が、撮像部30の光軸の向きと一致するように、照明部21の向きを調整するようにしてよい。また、処理装置5が、照明部21から被検物Wkの表面までの距離が該表面から撮像部30までの距離よりも短い場合は、照明部21の光軸の向きを撮像部30の光軸の向きと異ならせ、照明部21から被検物Wkの表面までの距離が該表面から撮像部30までの距離よりも長い場合は、照明部21の光軸の向きを撮像部30の光軸の向きと一致させるように、姿勢制御ユニット60を制御してもよい。
各実施形態の検査装置10,110,210は、ヘッド移動部61およびフォーカス調整部66(姿勢制御ユニット60)を備えて構成されているが、これに限られるものではなく、ヘッド移動部61およびフォーカス調整部66を備えずに、垂直多関節ロボット(ロボットアーム)等を用いて構成された保持装置4に、ヘッド移動部61およびフォーカス調整部66の機能を代用させてもよい。
上述の各実施形態において、処理装置5により、被検物Wkの表面における異常の有無を判定する処理を行っているが、これに限られるものではなく、上述したような被検物W
kの表面における異常の有無を判定する処理部を、検査装置自体が備えるようにしてもよい。