JP6625475B2 - 欠陥検査方法および欠陥検査システム - Google Patents

Description

本実施の形態は、画像処理技術を用いて撮像画像の欠陥を検査する欠陥検査方法および欠陥検査システムに係り、とりわけ画像における欠陥とノイズとを簡単に区別して真の欠陥を検出する欠陥検査方法および欠陥検査システムに関する。

従来より、被検査物の表面をＣＣＤカメラ等の撮像装置を用いて撮像し、その撮像画像から欠陥を検査する欠陥検査方法として、さまざまな方法が知られている。
しかしながら、いずれの欠陥検査方法も複雑な画像処理を必要とし、かつそれ程鮮明に欠陥を検出することができないという課題がある。

本実施の形態は、このような点を考慮してなされてものであり、簡単な構成で被検査物の欠陥を容易かつ確実に検出することができる欠陥検査方法および欠陥検査システムを提供することを目的とする。

本実施の形態は、被検査物の表面に光を照射する照明工程と、被検査物の表面を撮像して撮像画像を得る撮像工程と、撮像画像の中から欠陥を検出すべき欠陥分布領域と欠陥を検出する必要のないノイズ分布領域とを抽出するとともに各領域に存在する画素の色成分を赤、緑、青のうち２つの色成分が縦軸および横軸となる二次元散布図上に配置する配置工程と、二次元散布図上で欠陥分布領域を構成する画素とノイズ分布領域を構成する画素とを分割直線により分割する分割工程と、二次元散布図上で分割直線により分割された２つの領域のうち欠陥分布領域側に属する画素を選抜する選抜工程と、選抜工程において選抜された画素を撮像画像において当該画素が存在していた箇所に当てはめて限定撮像画像を生成する限定工程と、限定撮像画像を用いて欠陥検査を実行する検査実行工程とを備えたことを特徴とする欠陥検査方法である。

本実施の形態は、光は白色光であることを特徴とする欠陥検査方法である。

本実施の形態は、光は異なる２色以上であることを特徴とする欠陥検査方法である。

本実施の形態は、光は異なる色の第１色光、第２色光、第３色光であることを特徴とする欠陥検査方法である。

本実施の形態は、第１色光、第２色光、第３色光はそれぞれ赤、緑、青のいずれかであることを特徴とする欠陥検査方法である。

本実施の形態は、照明工程は被検査物に第１色光、第２色光、第３色光を照射する位置の高さが異なることを特徴とする欠陥検査方法である。

本実施の形態は、分割直線は、二次元散布図の縦軸をｙ、横軸をｘ、ａおよびｂを実数としたときに、１次式 ｙ＝ａｘ＋ｂ により表わされることを特徴とする欠陥検査方法である。

本実施の形態は、被検査物の表面に光を照射する照明装置と、被検査物の表面を撮像して撮像画像を得る撮像装置と、撮像装置からの撮像画像に対して画像処理を施して、欠陥検査を行う欠陥検査装置とを備え、欠陥検査装置は撮像画像の中から欠陥を検出すべき欠陥分布領域と欠陥を検出する必要のないノイズ分布領域とを抽出するとともに各領域に存在する画素の色成分を赤、緑、青のうち２つの色成分が縦軸および横軸となる二次元散布図上に配置する配置部と、二次元散布図上で欠陥分布領域を構成する画素とノイズ分布領域を構成する画素とを分割直線により分割する分割部と、二次元散布図上で分割直線により分割された２つの領域のうち欠陥分布領域側に属する画素を選抜する選抜部と、選抜工程において選抜された画素を撮像画像において当該画素が存在していた箇所に当てはめて限定撮像画像を生成する限定部と、限定撮像画像を用いて欠陥検査を実行する検査実行部とを備えたことを特徴とする欠陥検査システムである。

本実施の形態は、光は白色光であることを特徴とする欠陥検査システムである。

本実施の形態は、光は異なる２色以上であることを特徴とする欠陥検査システムである。

本実施の形態は、光は異なる色の第１色光、第２色光、第３色光であることを特徴とする欠陥検査システムである。

本実施の形態は、第１色光、第２色光、第３色光はそれぞれ赤、緑、青のいずれかであることを特徴とする欠陥検査システムである。

本実施の形態は、照明工程は被検査物に第１色光、第２色光、第３色光を照射する位置の高さが異なることを特徴とする欠陥検査システムである。

本実施の形態は、分割直線は、二次元散布図の縦軸をｙ、横軸をｘ、ａおよびｂを実数としたときに、１次式 ｙ＝ａｘ＋ｂ により表わされることを特徴とする欠陥検査システムである。

以上のように本実施の形態によれば、簡単な構成で被検査物の欠陥を容易かつ確実に検出することができる。

図１は本実施の形態による欠陥検査方法のフローチャート。 図２(a)(b)(c)は本実施の形態の原理の説明図。 図３は本実施の形態の原理の説明図。 図４は本実施の形態の原理の説明図。 図５は本実施の形態の原理の説明図。 図６はチップ形電子部品の斜視図。 図７(a)(b)はチップ形電子部品に照明光を照射する照明装置およびチップ形電子部品の表面を撮像する撮像装置の説明図。 図８は比較例１による欠陥検査方法のフローチャート。 図９(a)(b)(c)(d)は撮像画像から赤画像、緑画像、青画像を得るための説明図。 図１０(a)(b)(c)(d)(e)(f)(g)(h)(i)は比較例１の欠陥検査方法における画像処理の説明図。 図１１(a)(b)はチップ形電子部品に照明光を照射する照明装置およびそれを用いてチップ形電子部品の撮像画像を得るための説明図。 図１２は比較例２の欠陥検査方法における画像処理の説明図。 図１３は比較例３の欠陥検査方法における画像処理の説明図。

＜実施の形態＞
以下、図面を参照して欠陥検査方法および欠陥検査システムの実施の形態について説明する。まず検査対象とする被検査物としてのチップ形電子部品（以下「ワーク」とも言う）について図６により説明する。図６に示すように、ワークＷは６面体形状をもち、絶縁体からなる本体Ｗｄと、本体Ｗｄの長手方向の両端部に形成された導電体からなる電極Ｗａ、Ｗｂとを有している。

本体Ｗｄ内部には抵抗やコンデンサ等の素子が形成されており、素子と外部回路との接続は電極Ｗａ、Ｗｂを外部回路に接続することにより行われる。

次にこのワークＷの表面に対する欠陥検査方法について説明する。まずワークＷに照明光としての白色光を照射して、その表面を撮像する。

照明光を照射する照明装置およびワークの表面を撮像する撮像装置を図７に示す。ここで図７（ａ）は照明装置を下面から見た斜視図であり、また図７（ｂ）は、照明装置および撮像装置を使用してワークの表面を撮像する様子を示す側面図である。

図７（ａ）において、照明装置１０ａは半球形状に形成されたフレーム１を有し、このフレーム１の半球の中心側は平面に形成された下面１ｄを有している。そして、下面１ｄから見てフレーム１の内側となる半球内部には、フレーム１の外形と同様の半球形状の内部凹面１ｓが形成されている。またフレーム１には、半球の中心側すなわち下面１ｄに開口する大開口部１ｂが形成されている。また、大開口部１ｂ側からフレーム１の内部凹面１ｓを見たとき、円形のフレーム１の中心部には、大開口部１ｂよりも直径が短い円形の小開口部１ｎがフレーム１を貫通して形成されている。ここに、図７（ａ）における小開口部１ｎの形状は円形であるが、小開口部１ｎの形状は円形に限定されるものではなく、後述のようにワークからの反射光がフレーム１を通過することができる形状であればよい。内部凹面１ｓの表面には、大開口部１ｂに向けて白色光を照射可能な多数の白色発光ダイオード（ＬＥＤ）Ｌｗが同心円状に等間隔に配列されている。その同心円の中心は小開口部１ｎの中心に一致しており、同心円の数は全部で７つである。

図７（ｂ）において、照明装置１０ａは下面１ｄおよび大開口部１ｂを下方に向け、小開口部１ｎを上方に向けて配置されている。そして、大開口部１ｂの中心位置の略直下にフレーム１の下面１ｄからわずかな距離を隔てて、図示されない載置台の上に載置されたワークＷが、その一面Ｗｕを大開口部１ｂに対向させて位置している。

一方、照明装置１０ａの直上において、小開口部１ｎの上方に撮像装置２０が入光部２ａを小開口部１ｎに対向させて配置されている。ワークＷから出た光が入光部２ａを通過して撮像装置２０に取り入れられることで、撮像画像を得ることができる。

撮像装置２０により得られた撮像画像は、次に欠陥検査装置２０Ａに送られ、この欠陥検査装置２０Ａにおいて、欠陥検査が実行される。また欠陥検査装置２０Ａにはモニタ２０Ｂが接続されている。

この場合、照明装置１０ａと、撮像装置２０と、欠陥検査装置２０Ａと、モニタ２０Ｂとによって、欠陥検査システムが構成されている。

次に図７（ｂ）に示すように、ワークＷの一面Ｗｕの撮像画像を得て、撮像画像から欠陥を検出する欠陥検査方法の手順について、図１のフローチャートを用いて説明する。まず図１におけるＳ１０１（照明工程）のように、図７（ｂ）に示す照明装置１０ａに配置された白色発光ダイオードＬｗを用いて、ワークＷに白色光を照射する。この時、白色発光ダイオードＬｗから出た入射光ＬＩはワークＷの一面Ｗｕに照射され、そこで反射して反射光ＬＲとなる。そして反射光ＬＲはワークＷの上方に位置するフレーム１の小開口部１ｎを通過して、入光部２ａから撮像装置２０に取り入れられる。これにより、図１のＳ１０２（撮像工程）に示すように、ワークＷの一面Ｗｕ（上面）が撮像されて撮像画像が得られる。

次に撮像装置２０によって得られた撮像画像が欠陥検査装置２０Ａに送られ、この欠陥検査装置２０Ａにおいて欠陥検査が実行される。

すなわち撮像装置２０によって得られた撮像画像に対してＳ３３（抽出工程）のように、その撮像画像の中から、欠陥を検出すべき欠陥分布領域と、欠陥を検出する必要のないノイズ分布領域とを抽出する。この様子を図２（ａ）に示す。図２（ａ）に示す画像は、モニタ２０Ｂに表示されたものであり、図１におけるＳ１０２で得られたワークＷの撮像画像である。作業者はモニタ２０Ｂに表示された画像を目視しながら、欠陥を検出すべき欠陥分布領域を抽出してマーキングする。ここでは一点鎖線で囲まれた領域Ａｅを欠陥分布領域として抽出し、マーキングしている。そして、領域Ａｅ以外のすべての領域は、欠陥を検出する必要のないノイズ分布領域となる。

こうして２種類の領域を区分したら、次に図１のＳ３４（配置工程）を実施する。ここでは、撮像画像の中の欠陥分布領域およびノイズ分布領域に存在するすべての画素の色成分について、青の成分を縦軸にとり、赤の色成分を横軸にとった二次元散布図上に配置する。

図２（ａ）の撮像画像に対して図１のＳ３４を実施した結果を図２（ｂ）に示す。図２（ｂ）において一点鎖線Ｄｄで囲まれた領域は、図２（ａ）における欠陥分布領域すなわちＡｅを構成する画素について、この二次元散布図上に配置したものである。また図２（ｂ）において一点鎖線Ｄｎで囲まれた領域は、図２（ａ）におけるノイズ分布領域を構成する画素を、この二次元散布図上に配置したものである。ここで、図２（ｂ）において欠陥分布領域Ｄｄを構成する画素は、図２（ａ）においては領域Ａｅに属するので、図２（ｂ）の二次元散布図の直上には、集合の記号を用いてＤｄ＝｛Ａｅ｝と記載してある。

こうして図１のＳ３４が完了したら、次にこのＳ３４で作成した二次元散布図上で、Ｓ３５（分割工程）に示すように、欠陥分布領域を構成する画素とノイズ分布領域を構成する画素とを１本の直線（分割直線）で分割する。この分割の様子も併せて図２（ｂ）に示す。図２（ｂ）において、欠陥分布領域Ｄｄとノイズ分布領域Ｄｎの形状はいずれもおおむね右上がり方向に長軸を有する楕円形である。２つの領域がこのような形状を有する場合、縦軸（Ｂ軸）の正方向と横軸（Ｒ軸）の正方向により構成される第１象限にこれらの２つの領域が存在すると考えて、図２（ｂ）に示すような欠陥分布領域Ｄｄとノイズ分布領域Ｄｎを分割する右上がりの直線を引く。この直線の傾きをａとし、この直線が縦軸（Ｂ軸）と交わる座標をｂとすれば、直線をＢとＲで表現する式は
Ｂ＝ａＲ＋ｂ （１）
で表わされる。このｂが欠陥分布領域Ｄｄとノイズ分布領域Ｄｎを分割するための閾値となる。このとき、直線よりも上側すなわち欠陥分布領域Ｄｄを表わす式は
Ｂ＞ａＲ＋ｂ （２）
すなわち
Ｂ−ａＲ−ｂ＞０ （３）
となる。図２（ｂ）から明らかなように、式（３）の領域においてはノイズ分布領域Ｄｎを構成するすべての画素が除外されている。

次に図１のＳ３６（選抜工程）のように、図２（ｂ）において１本の直線で分割された２つの領域のうち、ノイズ分布領域に属する画素が含まれない領域側に属するすべての画素すなわち欠陥分布領域Ｄｄ（式（３））内のすべての画素を選抜する。

そして次に図１のＳ３７（限定工程）に示すように、このように選抜された欠陥分布領域Ｄｄを構成する画素を、撮像画像において当該画素が存在していた箇所に当てはめて、選抜された欠陥分布領域Ｄｄ内の画素のみに限定した限定撮像画像を生成する。

このＳ３７で図２（ｂ）から生成した限定撮像画像を図２（ｃ）に示す。この限定撮像画像はモニタ２０Ｂに表示される。図２（ｃ）で得られた限定撮像画像には、図２（ａ）の領域Ａｅ以外の画素は含まれていない。このため、図１のＳ３７の工程完了後に、Ｓ３７により得られた図２（ｃ）の限定撮像画像を用いてＳ３８（検査実行工程）のように作業者はモニタ２０Ｂを目視しながら、欠陥検査を行う。このことにより、図２（ｂ）のノイズ分布領域Ｄｎを構成する画素を除外して高精度の欠陥検査を実施することが可能となる。

なお、Ｓ３５（分割工程）において１本の直線を決定するには、作業者が二次元散布図を目視して決定する方法と、画像処理ソフトウェアとして従来から知られる判別分析を用いる方法がある。この判別分析を用いた場合の１本の直線は、例えば欠陥クラスとノイズクラスのいずれのクラスからのマハラノビス距離も等しくなる直線として決定される。

ここで、図１にＳ３３乃至Ｓ３７として示した本発明の原理について、図３を用いて説明する。図３は本発明の原理を示す図２（ｂ）の模式図である。縦軸（Ｂ軸）の正方向と横軸（Ｒ軸）の正方向により構成される第１象限に、実線で囲まれた欠陥分布領域Ｄｄおよび破線で囲まれたノイズ分布領域Ｄｎが、いずれもおおむね右上がり方向に長軸を有する楕円形として存在するように記載してある。

図３において、Ｂ＝Ｒの直線すなわち原点を通って４５°右上がりの破線で示した直線を考える。この直線を縦軸の正方向に閾値ＢＴ（正数）だけ移動させた実線の直線（Ｂ＝Ｒ＋ＢＴ）により、欠陥分布領域Ｄｄおよびノイズ分布領域Ｄｎが分割できたとする。この直線の上側すなわちＢ＞Ｒ＋ＢＴの範囲には、ノイズ分布領域Ｄｎは存在しない。そこで、Ｂ＞Ｒ＋ＢＴの範囲に存在する欠陥分布領域Ｄｄを構成する画素は、すべて真の欠陥を表わす画素といえる。すなわちＢ＞Ｒ＋ＢＴの範囲が欠陥検査の対象となる領域である。この領域内のすべての画素を選抜して、図１におけるＳ３７のように撮像画像において当該画素が存在していた箇所に当てはめることによって、限定撮像画像を生成することができる。そして、こうして生成した限定撮像画像は図３におけるノイズ分布領域Ｄｎの画素をまったく含んでいない。このため、作業者は、モニタ２０Ｂを目視しながら、限定撮像画像を用いて高精度の欠陥検査を実施することができる。

このように本実施の形態によれば、複雑な画像処理を行うことなく、容易かつ確実に欠陥検査を実行することができる。

なお、以上の説明においては簡単のために、欠陥分布領域Ｄｄとノイズ分布領域Ｄｎを分割する直線の傾きを４５°としているが、実際の欠陥分布領域Ｄｄおよびノイズ分布領域Ｄｎの形状により、この傾きはさまざまに変化する。例えば図２（ｂ）に示す直線の傾きはａであり、ａが１以外の値をとれば、直線の傾きは−４５°ではなくなる。

以上の説明においては、図７（ａ）（ｂ）に示す照明装置１０ａに配置されるＬＥＤは白色であるとして説明した。しかし、図７（ａ）（ｂ）においてワークＷに照射される光は白色に限定されるものではない。他の例として、光の三原色である赤、緑、青の各ＬＥＤを用いた照明装置がある。この照明装置およびワークの表面を撮像する撮像装置を図１１に示す。図１１（ａ）は照明装置を下面から見た斜視図である。また、図１１（ｂ）は、当該の照明装置および撮像装置を使用して被検査物の表面を撮像する様子を示す側面図である。図１１（ａ）（ｂ）と図７（ａ）（ｂ）の差異はＬＥＤの色だけなので、差異を有していない部分についての詳細な説明は省略する。

図１１（ａ）において、照明装置１０ｂの内部凹面１ｓの表面には発光ダイオード（ＬＥＤ）が同心円状に配列されている。同心円の数は全部で７つである。大開口部１ｂに近い４つの同心円上には赤色（Ｒ）のＬＥＤが略等間隔に配列されて、低位置照明ＬＬを構成している。同様に、大開口部１ｂ側から５番目および６番目の同心円上には緑色（Ｇ）のＬＥＤが略等間隔に配列されて、中間位置照明ＬＭを構成している。そして、大開口部１ｂ側から７番目の同心円上すなわち小開口部１ｎに最も近い位置にある同心円上には青色（Ｂ）のＬＥＤが略等間隔に配列されて、高位置照明ＬＨを構成している。

図１１（ｂ）において、照明装置１０ｂは下面１ｄおよび大開口部１ｂを下に、小開口部１ｎを上にして配置されている。そして、大開口部１ｂの中心位置の略直下にフレーム１の下面１ｄからわずかな距離を隔てて、図示されない載置台の上に載置された被検査物としての６面体形状のチップ型電子部品（ワーク）Ｗが、その一面Ｗｕを大開口部１ｂに対向させて位置している。

図１１の照明装置１０ｂおよび撮像装置２０を用いた場合のフローチャートは、図１と同一である。ここで、照明装置１０ｂが赤、緑、青の３種類のＬＥＤを配置していることで生じる効果について説明する。

図１１（ｂ）において、各照明（ＬＥＤ）から出た入射光ＬＩはワークＷの一面Ｗｕに照射される。ここに、低位置照明ＬＬ、中間位置照明ＬＭ、高位置照明ＬＨの位置に起因して、入射光ＬＩのうち低位置照明ＬＬから出た低位置入射光ＬＩＬは、ワークＷの一面Ｗｕに対して低い角度から照射される。同様に、入射光ＬＩのうち中間位置照明ＬＭから出た中間位置入射光ＬＩＭは、ワークＷの一面Ｗｕに対して低位置入射光ＬＩＬよりも高い角度から照射される。さらに、入射光ＬＩのうち高位置照明ＬＨから出た高位置入射光ＬＩＨは、ワークＷの一面Ｗｕに対して垂直に近い高い角度から照射される。このように入射光ＬＩは３種類の入射角の異なる入射光からなる。そして、この入射光ＬＩがワークＷの一面Ｗｕで反射して反射光ＬＲとなり、この反射光ＬＲを撮像装置２０で撮像して得られるのが撮像画像である。このため、撮像画像から得られる３種類の単色画像は、各単色画像の色となる光が異なる高さ（角度）からワークＷの一面Ｗｕに入射し、それが反射したものである。すなわち、各単色画像はこの一面Ｗｕの形状に対応する固有の反射特性を表わしていることになる。この特性を角度応答と呼び、ワークＷの一面Ｗｕの欠陥を最もよく表わしている角度応答と考えられる単色画像あるいは各単色画像間の演算結果として得られる画像を検査画像として選択して（図８のＳ１０５あるいはＳ１０６）、欠陥検査を行うことができる。このような角度応答を利用することができる照明の配置は、従来から用いられているものである。

また、図３を用いて本発明の原理を説明する際には、欠陥分布領域Ｄｄとノイズ分布領域Ｄｎが共通部分を有しておらず、このため直線Ｂ＝Ｒ＋ＢＴによって完全に分割できるものとした。しかし、図２（ａ）とは異なる撮像画像を用いて図２（ｂ）のような二次元散布図を作成した場合に、欠陥分布領域Ｄｄとノイズ分布領域Ｄｎが共通部分を有することもある。その場合の２つの領域の分割方法の例について、図４および図５を用いて説明する。

図４はある撮像画像について作成した二次元散布図である。欠陥分布領域Ｄｄとノイズ分布領域Ｄｎは共通部分Ｄｃを有する。このため、１本の直線を用いて欠陥分布領域Ｄｄとノイズ分布領域Ｄｎを完全に分割することはできない。ここで、欠陥検査の対象となる領域すなわち限定撮像画像を構成する画素として欠陥分布領域Ｄｄに属する全画素を選抜することができなくても、欠陥検査の対象となる領域からノイズ分布領域に属する全画素を除外した方がよいと考えられる場合を想定する。その場合には、図４に示す直線Ｂ＝Ｒ＋ＢＴａにより共通部分Ｄｃをノイズ分布領域Ｄｎとともに選抜の対象から除外する。そして、欠陥分布領域Ｄｄのうち直線の上側の領域すなわちＢ＞Ｒ＋ＢＴａの領域に存在する画素のみを選抜して、限定撮像画像を生成すればよい。次にこれとは逆に、欠陥検査の対象となる領域からノイズ分布領域に属する全画素を除外できなくても、欠陥検査の対象となる領域すなわち限定撮像画像を構成する画素として欠陥分布領域Ｄｄに属する全画素を選抜した方がよいと考えられる場合を想定する。その場合には、図５に示す直線Ｂ＝Ｒ＋ＢＴｂにより共通部分Ｄｃを欠陥分布領域Ｄｄとともに選抜する。そして、ノイズ分布領域Ｄｎのうち直線の上側の領域すなわちＢ＞Ｒ＋ＢＴａの領域に存在する画素のみを選抜して、限定撮像画像を作成すればよい。

なお、図４のような分割を行うか、あるいは図５のような分割を行うかの判断基準の設定方法の一例を、以下に説明する。例えばあるワークの撮像画像が有する欠陥の形状等の特性に起因して、欠陥検査の際に欠陥箇所を正常箇所と誤判断する確率Ｐ１と、正常箇所を欠陥箇所と誤判断する確率Ｐ２とを比較考量して基準を設定することが考えられる。Ｐ１＞Ｐ２となる特性を有する欠陥の場合に、欠陥検査の対象となる領域ができるだけ多くの欠陥分布領域を包含すれば誤判断されない欠陥の数を増やすことができると考えたとする。その場合には、図５のように分割すればよい。またがＰ１＜Ｐ２となる特性を有する欠陥の場合に、欠陥検査の対象となる領域からできるだけ多くのノイズ分布領域を除外すれば誤判断されない正常箇所の数を増やすことができると考えたとする。その場合には図４のように分割すればよい。

以上の説明では、本発明における二次元散布図は青と赤について作成したが、緑と青の散布図あるいは赤と緑の二次元散布図を作成してもよい。その場合は、作成した散布図の中から、１本の直線によって欠陥分布領域とノイズ分布領域を最も容易に分割できる散布図を選択する。そして、その散布図を用いて欠陥分布領域の画素を選抜して限定撮像画像を作成すればよい。その際の１本の直線は一般に、二次元散布図の縦軸をｙ、横軸をｘ、ａおよびｂを実数としたときに、１次式 ｙ＝ａｘ＋ｂ により表わされる。上述の実施の形態においては縦軸が青（Ｂ）で横軸が赤（Ｒ）であったため、当該の１次式は
Ｂ＝ａＲ＋ｂ （１）
と表わされている。

また以上の説明においては、欠陥分布領域として撮像画像における１つの領域のみを想定しているが、欠陥分布領域として撮像画像中において２つ以上の複数からなる領域を想定してもよい。

また以上の説明においては、二次元散布図における欠陥分布領域とノイズ分布領域を１本の直線で分割する際に、欠陥分布領域のすべてあるいはノイズ分布領域のすべてのうち少なくとも一方が、直線で分割した２つの領域のいずれか一方に全部包含されるとして説明した。しかし、直線による分割は、これらに限定されるものではない。例えば図４あるいは図５において、欠陥分布領域とノイズ分布領域の共通部分をさらに２つに分割するように直線を引いてもよい。

また以上の説明においては、ワークに照射する低位置照明を赤色、中間位置照明を緑色、高位置照明を青色として説明したが、３つの照明の位置および色の対応は、これに限定されるものではない。

また以上の説明においては、ワークに照射する光が白色光すなわち１色の場合および赤、緑、青の３色からなる場合について説明したが、照射する光の色の種類はこれらに限定されるものではなく、２色以上の任意の色であればよい。

＜比較例１＞
次に本実施の形態における比較例１について図８のフローチャートにより説明する。
図８のフローチャートにおいて、まずチップ形電子部品の上側に図７（ａ）（ｂ）に示す照明装置１０ａを配置して、チップ形電子部品に照射する（Ｓ１０１）。次に撮像装置２０を用いて、チップ形電子部品の上面を撮像する。

次に欠陥検査装置２０Ａにより、欠陥検査方法を実行する。欠陥装置２０Ａには、モニタ２０Ｂが接続されている。まず単色画像生成工程（Ｓ１０３）に示すように、撮像画像から赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色成分を抽出し、３種類の単色画像として赤画像、緑画像、青画像を生成する。各色成分の抽出は、ソフトウェアにより撮像画像に各色のフィルタ処理を行うことにより実行される。単色画像生成工程の説明図を図９に示す。図９（ａ）の撮像画像の各色成分を抽出した赤画像、緑画像、青画像をそれぞれ図９（ｂ）（ｃ）（ｄ）に示す。

次に生成した３種類の単色画像の中から、最も欠陥を判別できそうな画像を選択する検査画像選択工程を行う。検査画像選択工程は図８のＳ１０４乃至Ｓ１０６が該当する。まずＳ１０４において、赤画像、緑画像、青画像の中に最も欠陥を判別できそうな画像があるか否かを、モニタ２０Ｂに表示された画像を目視することにより比較検討する。その際に、欠陥のない良品と考えられるワークと、欠陥があり不良と考えられるワークを、それぞれ複数準備してＳ１０１乃至Ｓ１０３を実行したのちに、その結果として生成された複数の単色画像を互いに比較検討することが好ましい。

Ｓ１０４の判断結果がＹＥＳの場合はＳ１０５へ進み、当該の単色画像を検査画像として選択する。Ｓ１０４の判断結果がＮＯの場合はＳ１０６へ進み、単色画像間でいくつかの演算を行い、それらの結果を比較して検査画像を選択する。

単色画像間の演算についての具体例を、以下に説明する。今、緑画像をＧ、青画像をＢと記載し、その差分としての正反射成分除去画像をＧ−Ｂと記載することにする。ここに青画像はほぼ正反射のみからなるため、緑画像の輝度から青画像の輝度を減じる（Ｇ−Ｂ）という画像処理を行うことで得られる正反射成分除去画像（Ｇ−Ｂ画像）は正反射をほとんど除去した画像となる。このＧ−Ｂ画像から欠陥を抽出すれば、正反射がほとんど除去されているため、撮像画像自体から欠陥を抽出する場合に比べて抽出の精度は向上する。しかし、Ｇ−Ｂ画像から抽出した欠陥がこの物体の表面のすべての欠陥であるという保証はない。

このため、Ｇ−Ｂ画像の他に例えばＲ−Ｂ画像や、あるいは各単色画像の輝度間の加算を行って得た、例えばＧ＋Ｒ画像等を目視により比較して、最も欠陥を良好に抽出することができると判断された画像を最終的な検査画像として選択する。

Ｓ１０５あるいはＳ１０６によって検査画像を選択したあとは、領域抽出工程としてのＳ１０７に進む。ここでは選択した検査画像に対してソフトウェアによる画像処理を行い、欠陥検査を行う対象となる検査対象領域を抽出する。

次に輝度ヒストグラム作成工程としてのＳ１０８に進み、検査対象領域の画素について輝度のヒストグラムを作成する。そして二値化閾値決定工程としてのＳ１０９において輝度のヒストグラムをモニタ２０Ｂにより目視して、適切な輝度を二値化閾値として決定する。

以上のＳ１０７乃至Ｓ１０９についての説明図を図１０に示す。図１０（ａ）は良品であるワークＷの検査画像である。ここではワークＷの検査対象領域が電極Ｗａであるとする。この場合には、図１０（ａ）の検査画像の中から検査対象領域として電極Ｗａを抽出する。この様子を模式図として図１０（ｂ）に示す。実線で示されている電極Ｗａが抽出されて、破線で示されている本体Ｗｄおよび電極Ｗｂは抽出されていない。

このように、図１０（ａ）から図１０（ｂ）に示す検査画像を生成するのが、図８のＳ１０７である。また図８のＳ１０８において、図１０（ｂ）のＷａに含まれるすべての画素について輝度のヒストグラムを作成したものを図１０（ｃ）に示す。低い輝度から高い輝度までの分布は、略正規分布といえる。一方、欠陥を有する不良のワークＷについては、検査画像が図１０（ｄ）に示すものとなり、抽出された検査対象領域の模式図が図１０（ｅ）に示すものとなり、検査対象領域のすべての画素の輝度についてのヒストグラムが図１０（ｆ）に示すものとなる。

図１０（ｄ）および図１０（ｅ）に示すように、不良のワークＷの電極Ｗａには欠陥ＷＤ１が存在する。電極Ｗａの輝度は高い方に偏っているため、欠陥ＷＤ１は相対的に輝度が低くなる。このため、図１０（ｆ）においては、低輝度であるＬｄの度数にΔＦ１（＝Ｆｄ１−Ｆｎ１）のピークが出る。図１０（ｆ）と図１０（ｃ）を比較すると、良品のワークＷの電極Ｗａに対応するヒストグラムを示す図１０（ｃ）において、輝度Ｌｄにおける度数のピークは存在しない。

このように、図８のＳ１０８により良品のワークＷおよび不良のワークＷについて検査対象領域の画素のヒストグラムを作成したら、次に二値化閾値決定工程としてのＳ１０９に進む。Ｓ１０９においては、図１０（ｃ）および図１０（ｆ）に示すヒストグラムをモニタ２０Ｂ上で目視する。そして、良品と不良で度数に明確な差異を生じるような輝度Ｌｄを含む範囲を欠陥候補領域として抽出するための、最適な輝度を二値化閾値として決定する。この場合の二値化閾値としてはＴｐ１が適切である。

なお、比較のために検査画像として適さない画像の例を図１０（ｇ）乃至図１０（ｉ）に示す。図１０（ｇ）における欠陥ＷＤ２と図１０（ｄ）における欠陥ＷＤ１を比較すると、欠陥ＷＤ２は欠陥ＷＤ１に比べて輪郭も範囲も薄いため、目視によって図１０（ａ）の良品と図１０（ｇ）の不良は識別困難である。すなわち図８のＳ１０４の判断基準によって、不良のワークＷが図１０（ｇ）のように見える画像は検査画像として適さないということになる。実際に図１０（ｇ）の画像から図８のＳ１０７によって抽出した検査対象領域を図１０（ｈ）に、また図１０（ｈ）の検査対象領域について図８のＳ１０８によって生成した輝度ヒストグラムを図１０（ｉ）に示す。

図１０（ｉ）と図１０（ｆ）において輝度Ｌｄの度数を比較すれば明らかなように、図１０（ｉ）において輝度Ｌｄの度数がその前後の輝度に対して変化している量は、ΔＦ２（＝Ｆｄ２−Ｆｎ２）というピークと呼ぶことができない程度の小さな値でしかない。すなわち、対応する輝度のヒストグラムからも、図１０（ｇ）のような画像は検査画像に適していないことがわかる。

このように、図８のＳ１０９までを実行したら、次に欠陥候補領域抽出工程としてのＳ１１０に進む。Ｓ１１０では図１０（ｃ）、図１０（ｆ）に示す閾値Ｔｐ１を用いて検査対象領域の画素を二値化する。その結果として輝度Ｔｐ１より低い輝度の画素からなる欠陥候補領域が抽出される。

次に図８のＳ１１１に示すように、抽出した欠陥候補領域の画素に対して、モフォロジー処理を行う。ここでモフォロジー処理について説明する。モフォロジー処理とは二値化画像（白黒画像）に対して行う画像処理の総称である。後述の膨張および収縮を数回組み合わせて行う。その目的は、二値化画像の平滑化（でこぼこを減らして滑らかにする）、孤立点除去（穴埋め）、突起部分の除去、結合部分の分離、切断部分の結合等である。膨張とは、白黒画像内の図形を上下左右に１画素分膨張させる処理である。収縮とは、前記の膨張処理とは逆に白黒画像内の図形を上下左右に１画素分収縮させる処理である。

膨張と収縮を組み合わせた処理として、オープニングおよびクロージングがある。収縮をＮ回行い、そのあと膨張をＮ回行うのがオープニングで、図形の突起部分の除去や、結合部分の分離に効果がある。オープニングとは逆に、膨張をＮ回行い、そのあと収縮をＮ回行うのがクロージングで、図形の穴埋めや切断部分の結合に効果がある。モフォロジー処理を行うことで、二値化画像はその周縁が滑らかになり、本来一体でありながら切断されていた部分は互いに接続され、かつ画像とは無関係なノイズを除去することができる。すなわち、モフォロジー処理によって得られた二値化画像を用いれば、Ｓ１１２のように一定の面積以上の領域を欠陥と判定することができる。Ｓ１１１とＳ１１２により、欠陥検査工程が構成される。

ところで、上述の比較例１には以下のような問題点がある。図７（ａ）（ｂ）あるいは図１１（ａ）（ｂ）に示す照明装置１０ａ、１０ｂおよび撮像装置２０により構成される欠陥検査装置２０Ａを自動化して、ワークＷの量産時に検査時間を短縮したいという要望があったとする。その要望に対応するには、図８のフローチャートをソフトウェアにより実現して、そのソフトウェアを欠陥検査装置２０Ａに搭載すればよい。このソフトウェアを設計するにあたり、設計者は上述のように欠陥のない良品と考えられるワークと、欠陥があり不良と考えられるワークをそれぞれ複数準備する。そしてそれらのワークに対して図８のＳ１０１乃至Ｓ１０３を実行したのちに、その結果として生成された複数の単色画像あるいは各単色画像間の演算結果として得られた画像を互いに比較して、それらの中から検査画像を選択する。

ここに、検査対象としてのワークの形状ならびに検査で検出したい欠陥の種別は多岐にわたる。このため、各単色画像およびそれらの間の演算結果として得られる画像の中で、どの画像が検査画像として最適であるのかは、これらワークの形状ならびに欠陥の種別に対応してさまざまに変化する。上述の緑画像（Ｇ）−青画像（Ｂ）という演算の例は２種類の単色画像の差分をとる減算である。しかし、最適な検査画像を生成することができる演算は、例えば赤画像（Ｒ）−緑画像（Ｇ）＋青画像（Ｂ）のように３種類の単色画像に対して異種の演算を組み合わせて行うものであるかもしれない。すなわち設計者は、過去の経験に基づいた直感を頼りにして演算の内容を決定する必要がある。このように直感に基づく多くの演算を実行して、それぞれの演算によって生成された多くの画像を比較して検査画像を選択することになる。しかも上述のように、検査画像として最適な画像はワークの形状ならびに欠陥の種別に対応してさまざまに変化する。従って、検査対象となるワークの形状ならびに欠陥の種別が変化するたびに、上記のような過去の経験に基づいた直感により演算を決定して、最適な検査画像を選択する作業をあらためて実行する必要がある。このため、検査の自動化を行うためのソフトウェアの設計に、多大な労力と時間を要する。

これに対して上述のように本実施の形態によれば、複雑な画像処理を行うことなく、容易かつ確実に欠陥検査を実行することができる。

＜比較例２＞
次に本実施の形態に対する比較例２として、従来技術の欠陥検査方法において検査画像の二値化画像を用いた欠陥候補領域の抽出（図８のＳ１０７乃至Ｓ１１０）について説明する。図８のＳ１０４乃至Ｓ１０６によって選択された検査画像の一例を図１２に示す。図１２は図７（ｂ）に示すワークＷであるチップ形電子部品の上面（図７（ｂ）におけるＷｕ）の撮像画像から得られた青画像である。この検査画像を適切な閾値により二値化すれば、欠陥候補領域を抽出することができる。画像の左右に見える白い縦長の領域はそれぞれ電極Ｗａおよび電極Ｗｂである。電極Ｗａおよび電極Ｗｂの間に形成されて、白いエッジＥ１およびエッジＥ２（いずれも一点鎖線によって囲まれている）に上下を挟まれた横長の領域は、本体Ｗｄである。

ここに図１２において、本体ＷｄのエッジＥ１およびエッジＥ２の近傍となる一点鎖線で囲まれた本体Ｗｄ上には、白い部分が細い横長の帯状に存在している。また本体Ｗｄ上にはこの他にも、左下から右上に細い帯状の領域が３個ある。図１２においてはそれら３個のうち、本体Ｗｄの上下方向における略中央部分に存在する１個の細い帯状の領域Ｂｄ１を一点鎖線で囲って示してある。これらの領域Ｅ１、Ｅ２、Ｂｄ１は欠陥であるのか、あるいはノイズであるのかについて目視により識別することはきわめて困難である。このような検査画像における欠陥とノイズの識別の困難さは、欠陥候補領域を抽出するための二値化における閾値の設定が困難であることを示す。この閾値を調整して二値化画像を最適化することで、欠陥検査が容易な二値化画像を得ることは可能かもしれない。しかし、そこに到達するまでの閾値の調整に非常に時間を要し、ときにはその調整によっても欠陥検査が容易な欠陥候補領域の抽出ができない場合もある。これに対して上述のように本実施の形態によれば、複雑な画像処理を行うことなく、容易かつ確実に欠陥検査を実行することができる。

以上の説明においては検査画像が青画像であるとしたが、同一の撮像画像から得られた赤画像あるいは緑画像をそれぞれ検査画像とした場合の二値化閾値の設定についても、同様に欠陥候補領域の抽出が困難になることは十分に考えられる。さらに、単色画像間で演算を行って生成した画像を検査画像として用いた場合にも、上記と同様に検査画像を二値化する際の閾値の設定が困難であることがあり得る。すなわち、どのような検査画像を選択しても高精度の欠陥検査を実施することが困難であるという結果になり得る。

＜比較例３＞
次に本実施の形態との比較例３として、比較例１において、散布図を作成して、散布図中の欠陥分布領域とノイズ分布領域を１本の直線により分割する場合について、図１３を用いて説明する。比較例１においては上述のように、撮像画像から赤画像、緑画像、青画像を単色画像として得ている（図８のＳ１０３）。こうして得られた単色画像あるいは単色画像間に演算を行って生成した画像の中から、検査画像を選択する（図８のＳ１０４乃至Ｓ１０６）。そして検査画像から検査対象領域を抽出して、その全画素について二値化を行っている（図８のＳ１０７乃至Ｓ１１０）。ここに図１３は二値化により抽出された欠陥候補領域に存在する欠陥およびノイズについて、図３と同様にそれぞれの輝度分布を示した二次元散布図である。縦軸には青色成分の輝度Ｂをとり、横軸には赤色成分の輝度Ｒをとっている。実線の領域Ｄｄは欠陥の輝度分布の集合としての欠陥分布領域であり、破線の領域Ｄｎはノイズの輝度分布の集合としてのノイズ分布領域である。欠陥分布領域Ｄｄとノイズ分布領域Ｄｎには共通部分がないので、この散布図上で目視する範囲では両者は分離可能である。

ここで、図１３の散布図の縦軸は図９（ｄ）の青画像の輝度分布に対応し、横軸は図９（ｂ）の赤画像の輝度分布に対応するものである。すなわち、図９（ｂ）の赤画像を検査画像として選択し、その中から抽出した検査対象領域の全画素を二値化して得られた二値化画像に対して、ある閾値ＲＴＴを適用して図１４の散布図における欠陥分布領域Ｄｄとノイズ分布領域Ｄｎを分離できれば、このような分離により欠陥候補領域を決定して高い精度で欠陥検査を実施できることになる。

ところが図１３の散布図において、横軸（赤の輝度）上に閾値ＲＴＴをとり、縦軸（青の輝度）に平行な直線Ｒ＝ＲＴＴを引くと、ノイズ分布領域ＤｎはＲ＞ＲＴＴの領域にすべて属するが、欠陥分布領域ＤｄはＲ＞ＲＴＴの領域およびＲ＜ＲＴＴの領域の両方に属してしまう。これは、赤の輝度Ｒに閾値を設定しても欠陥分布Ｄｄとノイズ分布領域Ｄｎを正しく分離することができないことを示す。

同様に図１３の散布図において、縦軸（青の輝度）上に閾値ＢＴＴをとり、横軸（赤の輝度）に平行な直線Ｂ＝ＢＴＴを引くと、欠陥分布領域ＤｄはＢ＞ＢＴＴの領域にすべて属するが、ノイズ分布領域ＤｎはＢ＞ＢＴＴの領域およびＢ＜ＢＴＴの領域の両方に属してしまう。これは、青の輝度Ｂに閾値を設定しても欠陥分布Ｄｄとノイズ分布領域Ｄｎを正しく分離することができないことを示す。

すなわち、比較例１において単色画像の中から検査画像を選択して二次元散布図を作成した場合には、図９（ｂ）の赤画像を検査画像として用いても、図９（ｄ）の青画像を検査画像として用いても、欠陥候補領域を決定することがきわめて困難となり、高精度の欠陥検査を実施することができないということである。

以下、詳細な説明は省略するが、図１３における欠陥分布領域Ｄｄとノイズ分布領域Ｄｎの互いの位置関係によっては、図９（ｃ）の緑画像に対して二値化を行っても、上記のように欠陥分布領域Ｄｄとノイズ分布領域Ｄｎを正しく分離できない場合がある。これは図８のフローチャートにおけるＳ１０４において、単色画像の中から最も欠陥を判別できそうな画像を選択することが困難であることに対応する。その結果として図８のＳ１０６のように、単色画像間の演算を行って生成した画像の中から最も欠陥を判別できそうな画像を選択することになる。そしてその場合も、図１３により説明した現象と同様の現象が発生するため、やはり演算結果として生成された画像の中から最も欠陥を判別できそうな画像を選択することが困難であることになる。

これに対して本実施の形態によれば、本発明は撮像画像における画素を欠陥分布領域とノイズ分布領域に分割して、それぞれの領域を構成する画素について２色の輝度による二次元散布図を作成している。そして、その散布図上で１本の直線により２つの領域を分割することで欠陥検査の対象となる領域に属するすべての画素を選抜して、選抜した画素により限定撮像画像を生成している。このような単純な工程であるため、容易にノイズ分布領域を除外して高い精度による欠陥検査を実施することができる。また、検査対象となるワークの形状ならびに欠陥の種別が変化しても工程は同一であり、このため、比較例１のように最適な検査画像を選択する作業をあらためて実行する必要がない。すなわち、検査の自動化を行うためのソフトウェアの設計に要する労力が小さくなり、設計に要する時間も短くなる。

１ フレーム
１ｂ 大開口部
１ｎ 小開口部
１ｓ 内部凹面
２ａ 入光部
１０ａ、１０ｂ 照明装置
２０ 撮像装置
Ｄｄ 欠陥分布領域
Ｄｎ ノイズ分布領域
ＬＨ 高位置照明
ＬＩ、ＬＩｗ 入射光
ＬＩＨ 高位置入射光
ＬＩＬ 低位置入射光
ＬＩＭ 中間位置入射光
ＬＭ 中間位置照明
ＬＬ 低位置照明
ＬＲ 反射光
Ｌｗ 白色発光ダイオード
Ｗ ワーク

Claims (14)

1. 被検査物の表面に光を照射する照明工程と、
   被検査物の表面を撮像して撮像画像を得る撮像工程と、
   撮像画像の中から欠陥を検出すべき欠陥分布領域と欠陥を検出する必要のないノイズ分布領域とを抽出するとともに各領域に存在する画素の色成分を赤、緑、青のうち２つの色成分が縦軸および横軸となる二次元散布図上に配置する配置工程と、
   二次元散布図上で欠陥分布領域を構成する画素とノイズ分布領域を構成する画素とを画像処理ソフトウェアの判別分析に基づく統計、または誤判断に関する確率を用いて決定された分割直線により分割する分割工程と、
   二次元散布図上で分割直線により分割された２つの領域のうち欠陥分布領域側にある領域に属する画素を選抜する選抜工程と、
   選抜工程において選抜された画素を撮像画像において当該画素が存在していた箇所に当てはめて限定撮像画像を生成する限定工程と、
   限定撮像画像を用いて欠陥検査を実行する検査実行工程とを備えたことを特徴とする欠陥検査方法。
2. 光は白色光であることを特徴とする請求項１記載の欠陥検査方法。
3. 光は異なる２色以上であることを特徴とする請求項１記載の欠陥検査方法。
4. 光は異なる色の第１色光、第２色光、第３色光であることを特徴とする請求項１記載の欠陥検査方法。
5. 第１色光、第２色光、第３色光はそれぞれ赤、緑、青のいずれかであることを特徴とする請求項４記載の欠陥検査方法。
6. 照明工程は被検査物に第１色光、第２色光、第３色光を照射する位置の高さが異なることを特徴とする請求項４または５記載の欠陥検査方法。
7. 分割直線は、二次元散布図の縦軸をｙ、横軸をｘ、ａおよびｂを実数としたときに、１次式 ｙ＝ａｘ＋ｂ により表わされることを特徴とする請求項１記載の欠陥検査方法。
8. 被検査物の表面に光を照射する照明装置と、
   被検査物の表面を撮像して撮像画像を得る撮像装置と、
   撮像装置からの撮像画像に対して画像処理を施して、欠陥検査を行う欠陥検査装置とを備え、
   欠陥検査装置は撮像画像の中から欠陥を検出すべき欠陥分布領域と欠陥を検出する必要のないノイズ分布領域とを抽出するとともに各領域に存在する画素の色成分を赤、緑、青のうち２つの色成分が縦軸および横軸となる二次元散布図上に配置する配置部と、
   二次元散布図上で欠陥分布領域を構成する画素とノイズ分布領域を構成する画素とを画像処理ソフトウェアの判別分析に基づく統計、または誤判断に関する確率を用いて決定された統計および確率を用いて決定された分割直線により分割する分割部と、
   二次元散布図上で分割直線により分割された２つの領域のうち欠陥分布領域側にある領域に属する画素を選抜する選抜部と、
   選抜工程において選抜された画素を撮像画像において当該画素が存在していた箇所に当てはめて限定撮像画像を生成する限定部と、
   限定撮像画像を用いて欠陥検査を実行する検査実行部とを備えたことを特徴とする欠陥検査システム。
9. 光は白色光であることを特徴とする請求項８記載の欠陥検査システム。
10. 光は異なる２色以上であることを特徴とする請求項８記載の欠陥検査システム。
11. 光は異なる色の第１色光、第２色光、第３色光であることを特徴とする請求項８記載の欠陥検査システム。
12. 第１色光、第２色光、第３色光はそれぞれ赤、緑、青のいずれかであることを特徴とする請求項１１記載の欠陥検査システム。
13. 照明工程は被検査物に第１色光、第２色光、第３色光を照射する位置の高さが異なることを特徴とする請求項１１または１２記載の欠陥検査システム。
14. 分割直線は、二次元散布図の縦軸をｙ、横軸をｘ、ａおよびｂを実数としたときに、１次式 ｙ＝ａｘ＋ｂ により表わされることを特徴とする請求項８記載の欠陥検査システム。