JP7408411B2 - 表面検査装置とその方法 - Google Patents

Description

この発明は、明度の異なる明るい帯状部と暗い帯状部とが交互に配列されたパターンの照明を検査対象の表面に照射するとともに、当該検査対象の表面を撮像し、これにより得られた検査対象の表面画像を利用して、検査対象の表面に凹凸や傷などの欠陥が有るか否かを検査するための表面検査装置に関する。

従来からこの種の表面検査装置は広く知られている（例えば、特許文献１を参照）。
この種の表面検査装置は、明暗の照明パターンをシフトさせながら検査対象の表面に照射し、当該検査対象の表面を撮像して得られた複数の画像を用いて、反射光量の差や輝度の変化に基づき、検査対象の表面に対して欠陥の有無を検査する構成となっている（その検査原理については、例えば、非特許文献１及び２を参照）。

この種の従来の表面検査装置は、もっぱら滑らかな表面を有する製品（ガラス製品、フィルム製品、表面にメッキや塗装等が施された製品等々）を検査対象としていた。かかる検査対象は、表面が滑らかゆえに光の散乱が少なく、明暗の照明パターンが明瞭に現れた表面画像を得ることができ、よって複数の表面画像から反射光量の差や輝度の変化を明確に検出して、表面欠陥の有無を高精度に判別することが可能であった。

一方、最近になり本出願人らのもとへ、細かな凹凸のある表面（以下、マット面と称することもある）を有する製品を検査対象として、明暗のパターン照明を用いた表面検査装置による表面検査を実現したいとの要望が寄せられている。
そこで、本発明者が実験したところ、マット面に対しては、照明パターンにおける明暗の帯状部の幅が狭いと、マット面での光の散乱により当該明暗の照明パターンが不明瞭となってしまい、複数の表面画像から反射光量の差や輝度の変化を明確に検出することができず、表面欠陥の有無を判別することが困難であった。
そのため、マット面に対しては、光の散乱による影響を抑えるために、照明パターンにおける明暗の帯状部の幅を広げる必要のあることが判明した。

しかしながら、マット面に付いた表面欠陥が、角のない緩やかな凹凸で形成されているような場合には、照射するパターン照明における明暗の帯状部の幅が広いと、その種の表面欠陥を強調した輝度差を得ることができず、検出が困難であった。

実用新案登録第３１９７７６６号公報

広瀬修、外３名、「パターン照明を用いたフィルム表面凹凸欠陥の検出」、精密工学会誌、VOL.66,No.7、2000年、P1098-1102 楜澤信、外１名、「移動パターン光源を用いた欠陥検出技術の開発」、精密工学会誌、VOL.67,No.11、2001年、P1839-1843

本発明は、上述した事情に鑑みてなされたもので、マット面に付いた角のない緩やかな凹凸で形成された欠陥を含む各種の表面欠陥の有無を、高精度に検査することができる表面検査装置の提供を目的とする。

本発明に係る表面検査装置は、明度の異なる明るい帯状部と暗い帯状部とが交互に配列されたパターンの照明を検査対象の表面に照射する照明部と、検査対象の表面を撮像して当該検査対象の表面画像を得る撮像部と、照明部および撮像部を制御する制御部と、撮像部で得られた表面画像を画像処理して、検査対象の表面に存在する欠陥を明瞭化する画像処理部と、を備えている。

そして、制御部は、照明部を制御して、各帯状部を配列方向へ移動させた複数パターンの照明を形成し、当該複数パターンの照明を検査対象に照射するとともに、撮像部を制御して、複数パターンの照明毎に検査対象の表面を撮像し、複数の表面画像を得る機能を有している。

さらに、画像処理部は、複数の表面画像について、それぞれ平滑化処理した第１の対比画像と、第１の対比画像よりも平滑化の程度が小さい第２の対比画像との差分画像を得るとともに、それら複数の表面画像についての各差分画像の輝度値の絶対値を積算した積算画像を得る機能を有している。

本発明によれば、まず、明暗の照明パターンが現れた複数の表面画像から反射光量の差や輝度の変化を検出して、表面欠陥の有無を高精度に判別することができる。さらに、マット面に付いた角のない緩やかな凹凸で形成された表面欠陥については、平滑化処理した第１の対比画像と、第１の対比画像よりも平滑化の程度が小さい第２の対比画像との差分画像によって、明暗の照明パターンの縞模様を消して、当該緩やかな凹凸で形成された表面欠陥を強調することができる。加えて、当該表面欠陥が凹部と凸部が連続した形状であっても、複数の表面画像についての各差分画像の輝度値の絶対値を積算することで、凹部と凸部がいずれも強調された積算画像を得ることができる。よって、この積算画像により、マット面に付いた角のない緩やかな凹凸で形成された欠陥を含む各種の表面欠陥の有無を、高精度に検査することができる。

ここで、照明部は、各帯状部の配列方向に沿って輝度値がサイン波または三角波に対応して変化するパターンの照明を、検査対象の表面に照射する構成とすることができる。
検査対象の表面がマット面ではなく、鏡面の場合には、照明パターンにおける明暗の縞模様の境界が明瞭な線状に現れるため、平滑化処理を適正に行うことができず、その境界部分が傷との判別が困難なノイズとして差分画像に現れるおそれがある。
そこで、各帯状部の配列方向に向かって、輝度値をサイン波または三角波に対応して変化させることで、明暗の縞模様の境界がぼやけたパターン照明となる。これにより、検査対象の表面が鏡面であった場合にも、明暗の境界にノイズの生じない差分画像を得ることができ、各種の表面欠陥の有無を高精度に検査することが可能となる。

次に、本発明に係る表面検査方法は、明度の異なる明るい帯状部と暗い帯状部とが交互に配列されたパターンについて、当該各帯状部を配列方向へ移動させた複数パターンの照明を形成し、これら複数パターンの照明毎に検査対象の表面を撮像して複数の表面画像を得る撮像工程と、複数の表面画像について、それぞれ平滑化処理した第１の対比画像と、第１の対比画像よりも平滑化の程度が小さい第２の対比画像との差分画像を得るとともに、それら複数の表面画像についての各差分画像の輝度値の絶対値を積算した積算画像を得て、当該積算画像により検査対象の表面に存在する欠陥を明瞭化する画像処理工程と、を含むことを特徴とする。

かかる本発明方法によっても、上述した表面検査装置の発明と同じく、マット面に付いた角のない緩やかな凹凸で形成された欠陥を含む各種の表面欠陥の有無を、高精度に検査することができる。

また、撮像工程において、各帯状部の配列方向に向かって、輝度値をサイン波または三角波に対応して変化するパターンの照明を、検査対象の表面に照射することで、上述した表面検査装置の発明と同じく、検査対象の表面が鏡面であった場合にも、明暗の境界にノイズの生じない差分画像を得ることができ、各種の表面欠陥の有無を高精度に検査することが可能となる。

以上説明したように、本発明によれば、マット面に付いた角のない緩やかな凹凸で形成された欠陥を含む各種の表面欠陥の有無を、高精度に検査することができる。

本発明の実施形態に係る表面検査装置の概要を示す模式図である。 照明部によって描画される照明パターンの一例を示す図である。 本発明の実施形態に係る表面検査装置により実行される撮像工程を説明するための図である。 本発明の実施形態に係る表面検査装置により実行される画像処理工程を説明するための図である。 本発明の実施形態に係る表面検査装置を用いた表面検査方法を示すフローチャートである。 照明部によって描画される照明パターンの変形例を示す図である。

以下、この発明の実施の形態について図面を参照して詳細に説明する。
図１は、本実施形態に係る表面検査装置の概要を示す模式図である。
表面検査装置は、照明部１、撮像部２及びコンピュータ３を含む構成となっている。

照明部１は、表面検査用のパターン照明を検査対象４の表面に照射するための光源となる構成要素であり、本実施形態では液晶描画部１０を備えた液晶照明装置を採用している。液晶照明装置は、描画データに応じて種々の照明パターンを液晶描画部１０に描画することができ、バックライト１１からの光線を液晶描画部１０に通して検査対象４の表面に照射する構成となっている。

撮像部２は、検査対象４の表面を撮像して、その表面画像を得るための構成要素である。この撮像部２には、例えば、デジタルビデオカメラなどを採用することができる。

コンピュータ３は、照明部１と撮像部２とを制御するための制御部としての機能を有している。また、コンピュータ３は、撮像部２で得られた表面画像を画像処理して、検査対象の表面に存在する欠陥を明瞭化する画像処理部としての機能を有している。さらに、コンピュータ３は、検査対象の表面に付いた欠陥を判別する検査処理部としての機能も有している。

本実施形態で用いる照明部（液晶照明装置）１は、液晶描画部１０に照明パターンを描画するための制御デバイスを内蔵している。具体的には、制御デバイスとしてＦＰＧＡ（Field Programmable Gate Array）１２を採用している。
ＦＰＧＡ１２は、演算プログラムをハードウエアにより構築できる半導体集積回路であって、演算プログラム回路をユーザが自由に設定できるとともに、その後も自由に設定変更できることを特徴としている。さらに、ＦＰＧＡ１２は、ハードウエアで構築された演算プログラムをもって演算処理を実行するために、ソフトウエアによる演算プログラムを読み出して演算処理を実行するマイコンに比べて、きわめて高速な演算処理を実現できる特徴を有している。
本実施形態に係る照明部１は、このＦＰＧＡ１２により液晶描画部１０への照明パターンの描画処理を実行することで、照明パターンの高速な描画処理を実現している。
なお、照明パターンを描画するための照明部１の構成としては、ＦＰＧＡを用いない構成のものであってもよい。

照明部１は、例えば、図２に示すような明度の異なる明るい帯状部Ａと暗い帯状部Ｂ（明暗帯状部ＡＢと称することもある）とが交互に配列された縞模様の照明パターン１４を液晶描画部１０に描画して、検査対象４の表面に照射する構成となっている。
照明パターン１４を形成する明るい帯状部Ａの幅Ｄａと暗い帯状部の幅Ｄｂは、コンピュータ３からの制御信号により任意の寸法に設定される。既述したように、検査対象４の表面がマット面の場合には、これら明暗帯状部ＡＢの幅Ｄａ,Ｄｂを広く設定することが好ましい。

制御部として機能するコンピュータ３は、図３に示すように、照明パターン１４を用いた検査対象４の撮像工程を実行する。すなわち、コンピュータ３は、照明部１を制御して、明暗帯状部ＡＢが交互に配列された縞模様の照明パターン１４を液晶描画部１０に描画する（ステップＳ１）。そして、コンピュータ３は、照明部１を制御して、照明パターン１４が描画された照明を検査対象４の表面に照射するとともに、撮像部２を制御して、検査対象４の表面を撮像し、表面画像を取得する（ステップＳ２）。

次いで、コンピュータ３は照明部１を制御して、明暗帯状部ＡＢの配列方向に照明パターン１４を周期的に移動させて、液晶描画部１０における明暗帯状部ＡＢの位置を変更する（ステップＳ３）。このように明暗帯状部ＡＢの位置が変更された照明パターン１４の照明を、検査対象４の表面に照射するとともに、撮像部２を制御して、検査対象４の表面を撮像し、表面画像を取得する（ステップＳ２）。

コンピュータ３は、ステップＳ２とＳ３の各操作をあらかじめ設定した回数だけ繰り返し、検査対象４の表面について複数の表面画像を取得する。

また、画像処理部として機能するコンピュータ３は、撮像部２で取得した複数の表面画像について画像処理工程を実行する。すなわち、画像処理工程では、複数の表面画像について、それぞれ平滑化処理した第１の対比画像と、第１の対比画像よりも平滑化の程度が小さい第２の対比画像との差分画像を得るとともに、それら複数の表面画像についての各差分画像の輝度値の絶対値を積算した積算画像を得る。

具体的には、図４に示すように、検査対象４の表面を撮像部２で繰り返し撮像して得た複数枚の表面画像のそれぞれについて、カーネルサイズ（フィルタサイズともいう）の異なる２種類の平均化フィルタを用いて第１の平滑化処理（ステップＳ１０）と第２の平滑化処理（ステップＳ１１）とを実行する。周知のとおり、平均化フィルタを用いて画像の平滑化処理を実行すると、画像全体の画素値が平均化されてぼやけた画像となる。平滑化処理によって、画像全体の輝度値も平均化される。

ここで、第１の平滑化処理に用いる平均化フィルタには、比較的大きなカーネルサイズのものを採用して、平滑化の程度を大きくする。例えば、カーネルサイズ４９×４９の平均化フィルタを使用して表面画像を平滑化処理する。これにより、照明パターン１４の明暗帯状部ＡＢが写り込んだ表面画像における画素毎の輝度値が平均的な値に平滑化された第１の対比画像を得ることができる。

また、第２の平滑化処理に用いる平均化フィルタには、第１の平滑化処理に用いた平均化フィルタよりも小さいカーネルサイズのものを採用して、平滑化の程度を小さくする。例えば、カーネルサイズ１５×１５の平均化フィルタを使用して表面画像を平滑化処理する。これにより、表面画像に写り込んだ細かいノイズに対して輝度値の急な変化が抑えられた第２の対比画像を得ることができる。
なお、細かいノイズ成分を無視する場合には、第２の平滑化処理を省略して、元の表面画像を第２の対比画像とすることもできる。すなわち、第２の対比画像の要件である「第１の対比画像よりも平滑化の程度が小さい」は、平滑化処理していない元の表面画像を含む概念である。

このようにして第１の対比画像と第２の対比画像を取得した後、撮像部２で取得した複数の表面画像について、それぞれ第１の対比画像と第２の対比画像との差分を求めて、差分画像を取得する（ステップＳ１２）。

次いで、複数枚の表面画像のそれぞれについて、各差分画像における画素毎に輝度値の絶対値をとり、当該絶対値を積算して、複数枚の表面画像をまとめた積算画像を求める（ステップＳ１３）。この積算画像が、検査対象４の表面における欠陥の有無を判別するための欠陥判別用画像となる。
差分画像における輝度値の絶対値をとることで、照明パターン１４の明暗帯状部ＡＢが写り込んだ表面画像における画素毎の輝度値が平均的な値に平滑化された第１の対比画像を基準にして、第１の対比画像でプラスの輝度値（白色）となる明るい帯状部Ａの写り込みエリアと、マイナスの輝度値（黒色）となる暗い帯状部Ｂの写り込みエリアとが、ほぼ同じ輝度値（絶対値）となる。したがって、照明パターン１４の明暗帯状部ＡＢの反射による縞模様を消去することができる。

そして、複数枚の表面画像についての各差分画像を、輝度値の絶対値をとって積算することにより、検査対象４の表面に付いた凹凸形状の欠陥部分の輝度値（絶対値）は強調され、明瞭に当該欠陥部分を判別することが可能となる。ここで強調される表面の欠陥には、角のない緩やかな凹凸で形成された表面欠陥も含まれる。照明パターン１４の明暗帯状部ＡＢの反射による縞模様は、上述したとおり消去されるので、緩やかな凹凸で形成された表面欠陥の輝度差が、明暗帯状部ＡＢの反射による縞模様と融合して判別しにくくなることがない。

また、第２の平滑化処理を実施して第２の対比画像を取得した場合には、細かなノイズ成分は差分画像から取り除かれる。よって、この場合は、積算画像により、角のない緩やかな凹凸で形成された表面欠陥をいっそう明瞭に判別することが可能となる。

図５は、上述した本実施形態に係る表面検査装置を用いた表面検査方法を示すフローチャートである。
コンピュータ３は、まず照明部１を制御して、照明部１の液晶描画部１０に、明暗帯状部ＡＢが交互に配列された縞模様の照明パターン１４を描画し、そのパターン照明を検査対象４の表面に照射する（ステップＳ２０）。次いで、撮像部２を制御して、撮像部２のピントを調整し、検査対象の表面に焦点を合わせ（ステップＳ２１）、さらに撮像部２のシャッタースピードや絞りを調整して、明瞭な表面画像が得られるように露光時間を調整する（ステップＳ２２）。

次に、コンピュータ３は、照明部１と撮像部２を制御して、既述した撮像工程を実施して（図３参照）、複数枚の表面画像を取得する（ステップＳ２３）。
続いて、コンピュータ３は、既述した画像処理工程を実施して（図４参照）、積算画像（欠陥判別用画像）を取得する（ステップＳ２４）。

そして、コンピュータ３は、積算画像に基づいて、検査対象４の表面における欠陥（凹凸欠陥）の有無を判別する（ステップＳ２５）。なお、この検査対象４の表面における欠陥（凹凸欠陥）の有無は、ディスプレイに積算画像を表示させて、検査員による目視検査によって実行することもできる。

ステップＳ２３からＳ２５の工程は、検査対象が交換される毎に実行され（ステップＳ２６）、検査すべき対象が無くなったときに一連の工程が終了する。

なお、本発明は上述した実施形態に限定されるものではなく、種々の変形実施や応用実施が可能であることは勿論である。
例えば、照明部１から照射される照明パターン１４は、図６（ａ）に示すように、明暗帯状部ＡＢの配列方向に沿った輝度の変化が、矩形波状に輝度が変化するように明暗帯状部ＡＢが形成されている。このように明暗帯状部ＡＢの境界において、輝度が急激に変化した場合、検査対象の表面がマット面ではなく、鏡面の場合には、照明パターン１４における明暗帯状部ＡＢの反射による縞模様の境界が明瞭な線状に現れるため、既述した平滑化処理（図４参照）を適正に行うことができず、その境界部分が傷との判別が困難なノイズとして差分画像に現れるおそれがある。

そこで、照明パターン１４を、図６（ｂ）（ｃ）に示すように、明暗帯状部ＡＢの配列方向に沿って、輝度値がサイン波や三角波に対応して変化するように、明暗帯状部ＡＢを形成することで、明暗帯状部ＡＢの境界がぼやけたパターン照明となる。これにより、検査対象の表面が鏡面であった場合にも、明暗帯状部ＡＢの境界にノイズの生じない差分画像を得ることができ、各種の表面欠陥の有無を高精度に検査することが可能となる。

１：照明部、２：撮像部、３：コンピュータ、４：検査対象、
１０：液晶描画部、１１：バックライト、１２：ＦＰＧＡ、１４：照明パターン、

Claims (4)

1. 明度の異なる明るい帯状部と暗い帯状部とが交互に配列されたパターンの照明を検査対象の表面に照射する照明部と、
   前記検査対象の表面を撮像して当該検査対象の表面画像を得る撮像部と、
   前記照明部および撮像部を制御する制御部と、
   前記撮像部で得られた表面画像を画像処理して、前記検査対象の表面に存在する欠陥を明瞭化する画像処理部と、を備え、
   前記制御部は、前記照明部を制御して、前記各帯状部を配列方向へ移動させた複数パターンの照明を形成し、当該複数パターンの照明を前記検査対象に照射するとともに、前記撮像部を制御して、前記複数パターンの照明毎に前記検査対象の表面を撮像し、複数の表面画像を得る機能を有しており、
   前記画像処理部は、前記複数の表面画像について、それぞれ平滑化処理した第１の対比画像と、前記第１の対比画像よりも平滑化の程度が小さい第２の対比画像との差分画像を得るとともに、それら複数の表面画像についての各差分画像の輝度値の絶対値を積算した積算画像を得る機能を有していることを特徴とする表面検査装置。
2. 前記照明部は、前記各帯状部の配列方向に沿って輝度値がサイン波または三角波に対応して変化するパターンの照明を、前記検査対象の表面に照射する構成であることを特徴とする請求項１に記載の表面検査装置。
3. 明度の異なる明るい帯状部と暗い帯状部とが交互に配列されたパターンについて、当該各帯状部を配列方向へ移動させた複数パターンの照明を形成し、これら複数パターンの照明毎に検査対象の表面を撮像して複数の表面画像を得る撮像工程と、
   前記複数の表面画像について、それぞれ平滑化処理した第１の対比画像と、前記第１の対比画像よりも平滑化の程度が小さい第２の対比画像との差分画像を得るとともに、それら複数の表面画像についての各差分画像の輝度値の絶対値を積算した積算画像を得て、当該積算画像により前記検査対象の表面に存在する欠陥を明瞭化する画像処理工程と、を含むことを特徴とする表面検査方法。
4. 前記撮像工程において、前記各帯状部の配列方向に沿って輝度値がサイン波または三角波に対応して変化するパターンの照明を、前記検査対象の表面に照射することを特徴とする請求項３に記載の表面検査方法。

Images